Grafana的介绍与使用

Python023

Grafana的介绍与使用,第1张

Grafana是一款用Go语言开发的开源数据可视化工具,可以做数据监控和数据统计,带有告警功能。目前使用grafana的公司有很多,如paypal、ebay、intel等。

①可视化:快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。

②报警:可视化地为最重要的指标定义警报规则。Grafana将持续评估它们,并发送通知。

③通知:警报更改状态时,它会发出通知。接收电子邮件通知。

④动态仪表盘:使用模板变量创建动态和可重用的仪表板,这些模板变量作为下拉菜单出现在仪表板顶部。

⑤混合数据源:在同一个图中混合不同的数据源!可以根据每个查询指定数据源。这甚至适用于自定义数据源。

⑥注释:注释来自不同数据源图表。将鼠标悬停在事件上可以显示完整的事件元数据和标记。

⑦过滤器:过滤器允许您动态创建新的键/值过滤器,这些过滤器将自动应用于使用该数据源的所有查询。

Dashboard的建立都是基于某一个数据源的,所以要先加一个数据源。

可视化方式有很多种,不过Graph、Table、Pie chart 这三种基本就已经满足数据展现要求了。

把这个Graph折线图Copy一份,改一下展现方式即可。

注意:默认添加完table后,如果有数字,会以K为单位,比如将300000展示位30k。

数字展示方式修改,Add column style:

当表格中出现数据后,需要通过筛选条件进行筛选,grafana提供了模板变量用于自定义筛选字段。

Type:定义变量类型

Query:这个变量类型允许您编写一个数据源查询,该查询通常返回一个 metric names, tag values or keys。例如,返回erver names, sensor ids or data centers列表的查询。

interval:interval值。这个变量可以代表时间跨度。不要按时间或日期直方图间隔硬编码一个组,使用这种类型的变量。

Datasource:此类型允许您快速更改整个仪表板的数据源。如果在不同环境中有多个数据源实例,则非常有用。

Custom:使用逗号分隔列表手动定义变量选项。

Constant:定义一个隐藏常数。有用的metric路径前缀的dashboards,你想分享。在dashboard export,期间,常量变量将作为一个重要的选项。

Ad hoc filters:非常特殊类型的变量,只对某些数据源,InfluxDB及Elasticsearch目前。它允许您添加将自动添加到使用指定数据源的所有metric查询的key/value 过滤器。

上面的Table和Graph分别使用了interval和query来定义变量进行筛选,不再重复。

grafana只有graph支持告警通知。

grafana的告警通知渠道有很多种,像Email、Teams、钉钉等都有支持。

在grafana.ini中开启告警:

要能发送邮件通知,首先需要在配置文件grafana.ini中配置邮件服务器等信息:

Grafana是个功能强大、展现层很漂亮的数据可视化监控工具,本篇主要介绍了Grafana基于MySQL数据源的安装及常用姿势,也支持其他数据源如ElasticSearch、InfluxDB等。更多内容可看 官网

Linux下常用的系统监控软件有Nagios、Cacti、Zabbix、Monit等,这些开源的软件,可以帮助我们更好的管理机器,在第一时间内发现,并警告系统维护人员。今天开始研究下Zabbix,使用Zabbix的目的,是为了能够更好的监控mysql数据库服务器,并且能够生成图形报表,虽然Nagios也能够生成图形报表,但没有Zabbix这么强大。首先,我们先来介绍下Zabblx:一.Zabbix简介zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix由zabbixserver与可选组件zabbixagent两部门组成。zabbixserver可以通过SNMP,zabbixagent,ping,端口监视等方法提供对远程服务器/网络状态的监视。zabbixagent需要安装在被监视的目标服务器上,它主要完成对硬件信息或与操作系统有关的内存,CPU等信息的收集。zabbix的主要特点:-安装与配置简单,学习成本低-支持多语言(包括中文)-开源-自动发现服务器与网络设备-分布式监视以及WEB集中管理功能-可以无agent监视-用户安全认证和柔软的授权方式-通过WEB界面设置或查看监视结果-email等通知功能等等Zabbix主要功能:-CPU负荷-内存使用-磁盘使用-网络状况-端口监视-日志监视官方也提供了安装资料:二.Zabbix安装2.1zabbixWEB环境搭建zabbix的安装需要LAMP或者LNMP环境。需要其它的软件包yuminstallmysql-devgccnet-snmp-develcurl-develperl-DBIphp-gdphp-mysqlphp-bcmathphp-mbstringphp-xm2.2zabbix数据库设置zabbix数据库可以和zabbix服务器分离,采用用专门的mysql服务器存储数据,此时要给zabbix数据库受相应的权限。grantallprivilegesonzabbix.*tozabbix_user@'ip'identifiedby'123456'注:ip为zabbix服务器的IP地址。关于数据库的安装,可以查看Mysql安装,我习惯使用二进制包。启动数据库/usr/local/mysql/bin/mysqld_safe--user=mysql&登录数据库,创建帐号和设置权限:mysql>usemysqlmysql>createdatabasezabbixcharactersetutf8mysql>grantallprivilegesonzabbix.*tozabbix_user@'192.168.10.197'identifiedby'123456'2.3安装zabbix服务增加zabbix用户和组#groupaddzabbix#useradd-gzabbix-mzabbix官网下载解压软件包。下载地址:#wget#tar-zxvfzabbix-2.0.3.tar.gz#cdzabbix-2.203导入数据库表#cdzabbix-2.0.3/database/mysql#mysql-uroot-pmysqlzabbix

当富集分析完成,拿到如下的分析结果后,就可以进行作图了。

富集分析结果的可视化无非就是柱状图和气泡图,但是公司默认出图实在是太丑,所以还是自己动手修改修改。

一、常规柱状图(ggplot2)

横轴为gene counts,或者用-logP也行,填充相应的用P值或者gene counts。ggplot画图的好处就是可以进行很多调整。

二、常规气泡图(ggplot2)

气泡图与柱状图如出一辙,只是在展示方式上出现了差别。一个用geom_bar()函数,气泡图类似于散点图用geom_point()函数。

三、上下调同时展示(ggplot2)

很多时候研究者拿到差异基因后,上下调基因是分别富集的,在展示上需要同时体现二者,我们之前提到metascape可以做到: 转录组不求人系列(十二): Cell文章最喜欢用的差异基因GO、KEGG富集分析工具 ,除此之外,之前讲过的气泡图也可以展现多组的结果: 复现《nature communications》图表(四):ggplot画多组富集气泡图 。这里我们继续提供一种bar图的展示方式。将down的数值调整为负,做一列分组,就可以展示了。

当然了,以上所说的可视化还是比较常规,在基础上可以自己做调整。也有一些文章总是标新立意,有很多奇特的展现方式,我们会在之后的系列中讲解。