Prometheus结合Consul采集多个MySQL实例的监控指标

本文主要介绍如何利用Prometheus官网提供的mysqld_exporter进行多MySQL实例的监控指标采集

建议安装最新版的mysqld_exporter, 因为从’2022-09-01’ 之后才支持多实例功能的。具体的官网说明详见
Support for scraping multiple mysqld hosts (#651)

ok,开始今天的教程~

1、下载安装 mysqld_exporter

# 参考 下载地址Release列表,选择适合的平台安装包

# 进入运维规范 软件安装目录
cd /opt/app

# 下载并解压
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.1/mysqld_exporter-0.15.1.linux-amd64.tar.gz
tar -zxvf mysqld_exporter-0.15.1.linux-amd64.tar.gz

# 设置软连接
ln -s /opt/app/mysqld_exporter-0.15.1.linux-amd64 mysqld_exporter

2、进行配置

配置之前创建Prometheus exporter 账号并赋权

CREATE USER 'prometheus'@'192.168.%' IDENTIFIED BY 'XXXXXXXX' WITH MAX_USER_CONNECTIONS 10;
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'prometheus'@'192.168.%';

配置连接MySQL的配置文件

# vim ./.my.cnf
[client]
user = prometheus
password = XXXXXXXX

其他的配置说明详见 https://github.com/prometheus/mysqld_exporter

为了方便管理,在每个MySQL实例初始化的时候,创建相同的账号 'prometheus'@'192.168.%' 和对应的密码, 这样在 mysql exporter中只用配置一个[client] 即可。

3、启动MySQL exporter并测试

注意可以通过 ./mysqld_exporter --help 查看以 --collect.xx 开头的参数,这个是该exporter支持的metrics

另外需要特殊说明几个参数

  • --config.my-cnf=".my.cnf"

    配置exporter连接数据库时使用的认证信息(这里只要是配置用户和密码),默认是读取当前目录下的.my.cnf,可以修改指定

  • --web.listen-address=:9104

    exporter默认监听的端口,可以修改

启动 exporter 服务

nohup ./mysqld_exporter --config.my-cnf=./.my.cnf --collect.global_status --collect.global_variables --collect.mysql.user --collect.binlog_size --collect.slave_status &

当然还可以配置systemd 方式来管理该exporter服务

# vim /usr/lib/systemd/system/mysqld_exporter.service
[Unit]
Description=Prometheus MySQL exporter

[Service]
ExecStart=/opt/app/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/app/mysqld_exporter/.my.cnf --collect.global_status --collect.global_variables --collect.mysql.user --collect.binlog_size --collect.slave_status
Restart=on-failure

[Install]
WantedBy=multi-user.target

然后执行配置开机自启动

# 开启自启动
systemctl enable mysqld_exporter

# 启动
systemctl start mysqld_exporter

# 查看状态
systemctl status mysqld_exporter

4、测试验证

根据官网提示可以使用 /probe?target=foo:3306 的方式来验证

To use the multi-target functionality, send an http request to the endpoint /probe?target=foo:3306 where target is set to the DSN of the MySQL instance to scrape metrics from.

本次环境测试地址 http://192.168.3.100:9104/probe?target=xxxx:3306 然后在浏览器中打开如下,看到exporter部署成功

prometheus-mysql-expoter-probe-test.png

5、注册MySQL实例信息到Consul

备注: 关于Consul大家知道是目前比较常用的注册中心系统,常见的用法有

a)比如Java服务启动的时候注册到Consul,其他比如网关服务就可以自动发现服务进行请求转发

b)Nginx做服务动态转发时,可以借助于Consul中的KV功能实现在发布服务时,动态下线对应的服务节点,等服务节点重启成功之后再动态上线。可以实现后端服务的无损上线

具体Consul的服务安装和API用法详见官网文档即可,后者关于我博客中的相关文章说明

这里直接给出具体的注册代码

#!/usr/bin/env bash
# encoding: utf-8
# 批量初始化注册到Consul

while read line
do
    # echo $line
    instance_id=$(echo $line|awk '{print $1}')
    instance_name=$(echo $line|awk '{print $2}')
    instance_address=$(echo $line|awk '{print $3}')
    suffix=$(echo $instance_name|awk -F"_" '{print $NF}')
    if [[ $suffix == 'slave' ]]
    then
        role="slave"
    else
        role="master"
    fi

    data="{
        \"id\": \"rds-${instance_name}\",
        \"name\": \"mysql\",
        \"address\" : \"${instance_address}\",
        \"port\": 3306,
        \"tags\": [\"prod\", \"mysql_exporter\"],
        \"meta\": {
            \"env\": \"prod\",
            \"role\": \"${role}\",
            \"instance_id\": \"${instance_id}\",
            \"instance_name\": \"${instance_name}\"
        }
    }"
    # echo $data
    curl -X PUT 'http://192.168.x.x:8500/v1/agent/service/register' -H 'Content-Type: application/json' -d "$data"
done < /opt/scripts/db-register-into-consul/db-list.txt

其中 db-list.txt 文件的内容格式如下

instance-id-xxx instance-name instance-address

或者可以手动单个实例的注册

curl -X PUT 'http://192.168.x.x:8500/v1/agent/service/register' -H 'Content-Type: application/json' \
-d '{
  "id": "rds-xxx",
  "name": "mysql",
  "address": "rm-xxxxxxxx.mysql.rds.aliyuncs.com",
  "port": 3306,
  "tags": [
      "prod",
      "mysql_exporter"
  ],
  "meta": {
    "env": "prod",
    "instance_id": "rm-xxxxxxxx.mysql.rds.aliyuncs.com:3306",
    "role": "master",
    "instance_name": "rds-xxx"
  }
}'

然后打开 Consul的 Web 控制台,在 Services 中搜索 mysql(这里定义的服务名称) 就可以看到有对应的实例注册到该服务下

6、配置Prometheus 自动发现多个MySQL实例

为了规范配置Prometheus的配置,建议按照如下把不同的Job配置到 scrape_configs 目录下单个文件存放管理

# cat scrape_configs/mysql_exporter.yml
scrape_configs:
  - job_name: 'consul_discovery_mysql'
    consul_sd_configs:
      # Consul的服务地址(这里配置的内网域名)
      - server: 'consul.xxx.local'
        # 这里是获取Consul中的服务,如上知道我们是把所有的MySQL实例注册到了`mysql`服务下
        services: ['mysql']
    relabel_configs:
      # 核心是获取 `__parm_target` 就是 上面第四步提到的probe抓取的target
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__meta_consul_service_id]
        target_label: instarnce_name
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        # 注意这里: 该地址就是MySQL exporter服务的地址
        replacement: 192.168.3.100:9104

划重点

虽然在 mysql_exporter 的 config.file 对应的配置文件中可以配置多个 client 然后给配置不同的账号密码,且 prometheus也支持auth_module参数。

但是如果Prometheus配置auth_module参数时且每个job的账号密码不一样。那么就变成了手动配置多个Job的场景,那么基于Consul自动发现的多实例配置就失去了其意义。

所这里这里没有配置,且针对Prometheus监控猜忌,建议配置统一的账号密码就行

划重点

如果在进行relabel 配置的时候,不知道都有哪些原始的labels,可以后两种方案

1、就是Prometheus中先不进行relabel_configs的配置,然后配置生效之后打开 Prometheus Web控制台在 Status中找到 Targets ,然后鼠标放到对应job下endpoint 行 的Labels 列,就会有弹窗显示 Before relabeling 都有哪些

2、查看Prometheus官网介绍 Prometheus consul_sd_config relabel参数

但是个人建议第一种方式,因为笔者刚开始参考第二种方式在meta中存放了定制的参数,但是获取不到。最终分析定位发现是因为笔者的Consul版本太低,很多consul_sd_config参数不支持导致。

但是第一种方式,显示出来的参数就是当前版本支持的可用的参数。

当然具体使用自己更具自己的实际情况来判断就行。

7、验证Prometheus多实例采集

这里给实际的结果截图

prometheus-consul-mysql-v2.png

看到笔者这里已经采集到了36个实例数据,点击Endpoint就看到需要的结果,和上面第四步测试验证一致。

8、配置Grafana

配置Grafana 就相对很简单了。这里就不展开详细说明了。

大概的步骤就是

1)在grafana中添加该Prometheus数据源

2)然后新创建dashboard 在官网搜到需要的模板之后,按照模板id导致即可


如有疑问欢迎关注微信公众号或者QQ交流分享

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 155,770评论 4 358
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,116评论 1 286
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 105,656评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,372评论 0 201
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,704评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,166评论 1 204
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,535评论 2 306
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,259评论 0 193
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,882评论 1 236
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,218评论 2 239
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,760评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,126评论 2 249
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,667评论 3 228
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,935评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,644评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,171评论 2 265
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,119评论 2 258

推荐阅读更多精彩内容