LOFTER for ipad —— 让兴趣,更有趣

点击下载 关闭

LOFTER-网易轻博

grafana

697浏览    4参与
zhmg23

Prometheus +Grafana监控Elasticsearch集群

1、监控说明

监控原理跟我上一遍记录prometheus监控redis类似,通过elasticsearch_exporter,对Elasticsearch集群进行监控


2、下载安装elasticsearch_exporter

https://github.com/justwatchcom/elasticsearch_exporter

3、解压配置启动

cd /usr/local/elasticsearch_exporter

nohup ./elasticsearch_exporter --es.uri http://localhost:9200 &...

1、监控说明

监控原理跟我上一遍记录prometheus监控redis类似,通过elasticsearch_exporter,对Elasticsearch集群进行监控


2、下载安装elasticsearch_exporter

https://github.com/justwatchcom/elasticsearch_exporter

3、解压配置启动

cd /usr/local/elasticsearch_exporter

nohup ./elasticsearch_exporter --es.uri http://localhost:9200 &

注:如果多个集群,可以加上参数--web.listen-address=":9115"


4、配置Prometheus

vim prometheus.yml

  #采集ES集群监控数据

  - job_name: ES_cluster_9200

    static_configs:

      - targets: ['10.31.65.129:9114','10.31.65.130:9114','10.31.65.131:9114']

        labels:

          instance: elasticsearch_cluster_9200


重启Prometheus

systemctl  restart  prometheus


5、下载Grafana模板并导入

Grafana Dashboard:https://grafana.com/grafana/dashboards/2322



导入json



稍微等一会,就会有数据






zhmg23

prometheus监控redis通过grafana

1.说明:监控原理就是prometheus通过收集redis服务器上启动的redis_exporter,收集数据,展示到grafana

2.安装说明

prometheus和grafana的安装,在此不说明,因之间安装好,改天单独写,在此只记录安装redis_exporter,并配置prometheus

另外,redis服务器是多实例的,需要配置启动多个redis_exporter

3、下载redis_exporter

在redis服务器上,下载redis_exporter,并配置启动

# cd /tmp

# export VER="0.21.2"

# wget...

1.说明:监控原理就是prometheus通过收集redis服务器上启动的redis_exporter,收集数据,展示到grafana

2.安装说明

prometheus和grafana的安装,在此不说明,因之间安装好,改天单独写,在此只记录安装redis_exporter,并配置prometheus

另外,redis服务器是多实例的,需要配置启动多个redis_exporter

3、下载redis_exporter

在redis服务器上,下载redis_exporter,并配置启动

# cd /tmp

# export VER="0.21.2"

# wget https://github.com/oliver006/redis_exporter/releases/download/v${VER}/redis_exporter-v${VER}.linux-amd64.tar.gz

# cp  redis_exporter   /usr/local/redis_exporter/redis_exporter_6001

配置systemctl启动文件

# cat /usr/lib/systemd/system/redis_exporter_6001.service

[Unit]

Description=Prometheus

Documentation=https://github.com/oliver006/redis_exporter

Wants=network-online.target

After=network-online.target


[Service]

Type=simple

User=redis

Group=redis

ExecReload=/bin/kill -HUP $MAINPID

ExecStart=/usr/local/redis_exporter/redis_exporter_6001 \

  -redis.addr 172.16.55.129:6001 \

  --log-format=txt \

  --namespace=redis \

  --web.listen-address=:9121 \

  --web.telemetry-path=/metrics


SyslogIdentifier=redis_exporter

Restart=always

[Install]

WantedBy=multi-user.target


注:如果是8001端口,需要修改为--web.listen-address=:9122

-redis.addr:指明一个或多个 Redis 节点的地址,多个节点使用逗号分隔,默认为 redis://localhost:6379

-redis.password:验证 Redis 时使用的密码;

-redis.file:包含一个或多个redis 节点的文件路径,每行一个节点,此选项与 -redis.addr 互斥。

-web.listen-address:监听的地址和端口,默认为 0.0.0.0:9121


启动

#  systemctl  start redis_exporter_6001


4、配置prometheus

#  vim prometheus.yml

  - job_name: redis_129_6001

    static_configs:

      - targets: ['172.16.55.129:9121']

        labels:

          instance: redis_129_6001


# systemctl  restart prometheus


5、配置grafana

下载grafana监控redis模板

https://grafana.com/grafana/dashboards/763

下载完成后,直接导入json




djf0002003

用grafana展示zabbix

1、yum -y install wget     #安装wget工具


2、wget https://dl.grafana.com/oss/release/grafana-6.6.2-1.x86_64.rpm  #下载grafana源文件

yum localinstall grafana-6.6.2-1.x86_64.rpm -y    #本地安装grafana


3、grafana-cli plugins install alexanderzobnin-zabbix-app   ...

1、yum -y install wget     #安装wget工具


2、wget https://dl.grafana.com/oss/release/grafana-6.6.2-1.x86_64.rpm  #下载grafana源文件

yum localinstall grafana-6.6.2-1.x86_64.rpm -y    #本地安装grafana


3、grafana-cli plugins install alexanderzobnin-zabbix-app   #安装zabbix插件

也可以查看grafana-zabbix-app插件库安装最新的zabbix插件

cd /var/lib/grafana/plugins

git clone https://github.com/alexanderzobnin/grafana-zabbix-app


4、systemctl start grafana-server     #启动grafana服务并添加启动项

systemctl enable grafana-server


5、在浏览其中打开

grafana服务器ip:3000

进入grafana界面,用户名和密码均为admin

 

6、登陆后按要求更改密码并确认


7、点击齿轮(设置按钮),选择plugins,点击zabbix,点击enable启动zabbix插件。启动完毕后,页面左侧就会出现zabbix的按钮点击按钮,即可进入zabbix默认的图像显示页面,此页面默认的配置数据未zabbix-server的相关信息。由于并未配置任何信息,所以此页面都是N/A


8、数据源链接配置:

Settings下

Name:zabbix 勾选default 

http下

URL://zabbix服务器ip/zabbix/api_jsonrpc.php Access:zabbix数据库 

API数据

User:Admin(zabbix访问账号默认填Admin)

Password:zabbix(zabbix访问密码默认填zabbix)


10、添加一个新的Dashboard,点击左侧的+号,选择new dashboard,选择graph。

General选项卡中配置总体说明

Metrics选项卡中配置监控数据获取


11、选择需要展示的图形查看效果


我们的故事

系统和业务监控

先上图


系统组件:

statsd:

    https://github.com/etsy/statsd

    数据统计分析,提供多种统计模式:Counting,Timing,Gauges,Sets

    这里需要使用对应语言的接入实现:https://github.com/tim-group/java-statsd-client

influx db:

    https://github.com/influxdata...

先上图

系统组件:

statsd:

    https://github.com/etsy/statsd

    数据统计分析,提供多种统计模式:Counting,Timing,Gauges,Sets

    这里需要使用对应语言的接入实现:https://github.com/tim-group/java-statsd-client

influx db:

    https://github.com/influxdata/influxdb

    时序数据存储,用于存储statsd分析的统计数据。

    这里用到statsd到influx的连接器:

    https://github.com/gillesdemey/statsd-influxdb-backend

grafana:

    http://grafana.org/

    数据展示模块,支持多种数据来源,使用不用的查询语法,将统计数据展示出来。

监控指标:

接口调用次数/耗时:

    在业务代码之外,设置拦截器,读取当前request的service和method,并记录开始处理和结束处理之间的时间,使用time类型的统计模式,即可得到调用次数和耗时数据。


接口依赖调用次数/耗时:

    在调用外部接口时,request发出的位置,设置metric(time模式),此次加入callService,callMethod字段用于标示依赖调用的目标。


接口异常:

    在处理异常的位置,根据异常类型(业务异常,系统异常)记录不同的metric(count)。


事件:

    根据具体的业务,记录一些业务数据(count),比如订单金额,支付金额,缓存请求次数,缓存命中次数。




LOFTER

让兴趣,更有趣

简单随性的记录
丰富多彩的内容
让生活更加充实

下载移动端
关注最新消息