一、背景
我们知道prometheus是一个时间序列数据库。会周期性的从各个target上抓取数据。那么我们抓取回来的各种指标数据，我们有没有办法再次进行处理呢？
比如：
1、添加或删除某些不必要的标签。
2、从指标中删除敏感或不需要的标签。
3、修改标签的名字或标签的值等。
要实现上述功能，我们就需要对标签进行重新标记。
通过重新标记，我们可以控制、管理并标准化环境中的指标。
二、简化的指标抓取的生命周期
简化的指标抓取的生命周期
从上图中可知，我们有2个阶段(relable_configs和metric_relabel_configs)可以进行重新标记。
1、配置参数详解
# 从已有的标签选择值的源标签组;多个标签,使用separator分隔;
# regex匹配源标签里的值
[ source_labels: '[' <labelname> [, ...] ']' ]
# 多个 source_labels 时以这个连接起来
[ separator: <string> | default = ; ]
# 替换成的目标标签，可以使用正则中的分组
[ target_label: <labelname> ]
# 正则表达式匹配标签中的值
[ regex: <regex> | default = (.*) ]
# Modulus to take of the hash of the source label values.
[ modulus: <int> ]
# 替换正则表达式匹配的分组，分组引用使用 $1,$2,$3
[ replacement: <string> | default = $1 ]
# 正则表达式匹配后执行的动作
[ action: <relabel_action> | default = replace ]
1、action：存在的值
1、替换标签值
-
replace：首先将source_labels中指定的各标签的值以separator进行连接起来，然后将regex字段中的正则标签是对连接起来的标签值进行匹配判定，如果匹配上了，则将target_label字段中指定的标签的值替换为replacement字段中保存的值。 -
hashmod：将target_label的值设置为一个hash值，该hash则由modules字段指定的hash模对source_labels上各标签的串联值进行hash计算生成。
2、删除指标
-
keep：使用regex不能匹配到target上的source_labels上的各标签的串联值时，则删除该target。 -
drop：使用regex能匹配到target上的source_labels上的各标签的串联值时，则删除该target。
3、创建或删除标签
-
lablemap：将regex对所有的标签名进行匹配判定，而后将匹配到的标签的值赋给replacement字段指定的标签名之上。通常用于生成一个新的标签。 -
labeldrop：将regex对所有的标签名进行匹配判断，能够匹配到的标签从该target的标签集中删除。 -
labelkeep：将regex对所有的标签名进行匹配判断，不能够匹配到的标签从该target的标签集中删除。
2、删除标签注意事项
标签是时间序列的唯一性约束。如果删除标签或重命名标签并导致时间序列重复，那么系统 可能会出现问题。
3、几个系统内置的标签
__address__：当前Target实例的访问地址<host>:<port>。
__scheme__：采集目标服务访问地址的HTTP Scheme，HTTP或者HTTPS。
__metrics_path__：采集目标服务访问地址的访问路径。
__param_<name>：采集任务目标服务的中包含的请求参数。
__name__：此标签是标识指标名称的预留标签。
1、relable_configs 阶段
该阶段发生在指标抓取之前，即来自服务发现的目标。
示例：将scheme、address和metrics_path标签对应的值连接起来，判断是否是以(http或https)开头，如果是，则将 instance 标签对应的值修改成正确匹配的值。
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9080']
relabel_configs:
- source_labels: ["__scheme__","__address__","metrics_path__"]
regex: "(http|https)(.*)"
separator: ""
target_label: "instance"
replacement: "${1}://${2}"
action: replace
replace操作
2、metric_relable_configs 阶段
该阶段发生在指标抓取之后且数据没有保存到系统之前。
示例：删除go_info标签
删除标签
三、参考文档
1、https://prometheus.io/docs/prometheus/latest/configuration/configuration/#relabel_config
