Elasticsearch学习笔记(9)

目录

在ELasticsearch安装X-pack

默认情况下,当你安装Elasticsearch时,X-pack也被安装了。请看installing Elasticsearch

设置X-pack

X-Pack是一个弹性的堆栈扩展,它提供安全、警报、监视、报告、机器学习和许多其他功能。

如果你想尝试X-Pack的所有功能,你可以开始一个30天的试用。在试用期结束时,您可以购买订阅来继续使用X-Pack组件的全部功能。更多信息请看 https://www.elastic.co/subscriptions.

  • 安装X-pack
  • 配置监控
  • 配置安全
  • 配置X-pack Java 客户端
  • X-pack设置
  • X-pack引导检查

在Elasticsearch中配置监控

如果在集群中启用弹性监视特性,那么有两种方法可以收集关于弹性搜索的度量:

收集监控数据

如果启用集群中的弹性监视特性,您可以选择收集关于Elasticsearch的指标。默认情况下,监视是启用的,但是数据收集是禁用的。

该方法涉及到使用导出器将指标发送到监视集群。作为替代方法,请看Collecting monitoring data with Metribeat

注意:如果希望从Beats和Logstash等源收集监视数据并将其路由到监视集群,则必须遵循此方法。您还不能使用Metricbeat为这些产品运送监视数据。

先进的监测设置,使您能够控制多久收集数据,配置超时,并为本地存储的监视索引设置保留期。您还可以调整监视数据的显示方式。

要了解一般的监控,请看Monitoring the Elastic Stack

1、配置你的集群去收集监控数据:
  a.查证xpack.monitoring.enabled设置为true,在集群中的每个节点上,这是它的默认值。更多信息请看Monitoring settings.
  b.查证xpack.monitoring.elasticsearch.collection.enabled设置为true,在集群中的每个节点上,这是它的默认值。
    注意:您可以在每个节点上在elasticsearch.yml文件中指定此设置,或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性,则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。
    更多信息,请看Monitoring settingsCluster Update Settings
  c.在集群中的每个节点上设置xpack.monitoring.collection.enabledtrue。默认情况下,它是不可用的(false)。
    注意:您可以在每个节点上在elasticsearch.yml文件中指定此设置,或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性,则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。
  例如, 使用下面的APIs查看并更改此设置:

curl -X GET "localhost:9200/_cluster/settings"
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}
'

或者,您可以在Kibana中启用此设置。在侧导航中,单击Monitoring。如果数据收集被禁用,系统会提示您打开它。
  d.可选:指定要监视哪些索引
  默认情况下,监测代理从所有的弹性搜索索引中收集数据。从特定索引收集数据,配置xpack.monitoring.collection.indices设置。您可以指定多个索引用一个逗号分隔的列表,或者使用索引模式来匹配多个索引。例如:

xpack.monitoring.collection.indices: logstash-*, index1, test2

可以在索引名或模式前增加+或-显式地包含或排除。例如,包含所有test开头的所有索引除了test3,你可以指定为+test,-test3

2.确定在何处存储监视数据
  默认情况下,数据通过使用local exporter存储在同一个集群中。或者,你可以使用一个http exporter来发送数据到单独的监控集群。更多信息关于典型的监控架构,请看How Monitoring Works.

3.如果你选择用一个http exporter
a.在您希望监视的集群上(通常称为生产集群),配置每个节点,以便将指标发送到监视集群。在elasticsearch.yml文件中配置一个HTTP exporter在xpack.monitoring.exporters设置上。例如:

xpack.monitoring.exporters:
  id1:
    type: http
    host: ["http://es-mon-1:9200", "http://es-mon2:9200"]

b.如果监控集群上启用了弹性安全特性,在将数据传送到监视集群时,必须提供适当的凭据:
  i.在监视集群上创建具有内置的remote_monotoring_agent权限的用户,或者,使用内置的remote_monitoring_user用户。
  ii.在每个节点的elasticsearch.yml文件中增加用户id和密码设置,在设置HTTP exporter的时候。
  例如:

xpack.monitoring.exporters:
  id1:
    type: http
    host: ["http://es-mon-1:9200", "http://es-mon2:9200"]
    auth.username: remote_monitoring_user
    auth.password: YOUR_PASSWORD

c.如果您将监视集群配置为使用加密通信,则必须在主机设置中使用HTTPS协议。您还必须指定将用于验证监视集群中的节点标识的受信任CA证书。
i. 要将CA证书添加到Elasticsearch节点的受信任证书,可以使用certificate_authority设置指定PEM编码的证书的位置。例如:

xpack.monitoring.exporters:
  id1:
    type: http
    host: ["https://es-mon1:9200", "https://es-mon2:9200"]
    auth:
      username: remote_monitoring_user
      password: YOUR_PASSWORD
    ssl:
      certificate_authorities: [ "/path/to/ca.crt" ]

ii.或者,您可以使用信任存储库(包含证书的Java Keystore文件)配置受信任证书。例如:

xpack.monitoring.exporters:
  id1:
    type: http
    host: ["https://es-mon1:9200", "https://es-mon2:9200"]
    auth:
      username: remote_monitoring_user
      password: YOUR_PASSWORD
    ssl:
      truststore.path: /path/to/file
      truststore.password: password

4.将集群配置为将监视数据从Kibana、Beats和Logstash等源路由到监视集群。有关配置每个产品以收集和发送监视数据的信息,请参见Monitoring the Elastic Stack

5.如果你更新设置在弹性搜索。在您的生产集群上的elasticsearch.yml文件,重新启动Elasticsearch。

TIP:您可能希望在重新启动节点之前暂时禁用碎片分配,以避免在安装过程中不必要的碎片重新分配。

6.可选:Configure the indices that store the monitoring data

  1. View the monitoring data in Kibana.

用Metricbeat收集Elasticsearch监控数据

警告:此功能还处于测试阶段,可能会有更改。设计和代码还没有正式的GA功能成熟,并且是按原样提供的,没有任何保证。Beta特性不受官方GA特性的SLA支持。

在6.5之后,你可以使用Metricbeat来收集关于ELasticsearch的数据,并将其发送到监控集群,而不是像Collecting monitoring data里介绍的使用通过导出器路由。

image

学习关于一般的监控,参见Monitoring the Elastic Stack.

  1. 启用监控数据的收集功能。设置xpack.monitoring.collection.enabletrue在生产集群的每个节点上,默认情况下,这是不可用的(false)。

注意:****您可以在每个节点上在elasticsearch.yml文件中指定此设置,或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性,则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。

例如:你可以使用下面的APIs来查看和改变这个设置:

curl -X GET "localhost:9200/_cluster/settings"
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}
'

更多信息,请参见 Monitoring settingsCluster Update Settings.

2.禁用默认的弹性搜索监视指标集合。设置xpack.monitoring.elasticsearch.collection.enabledfalse在生产集群的每个节点上。

注意:****您可以在每个节点上在elasticsearch.yml文件中指定此设置,或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性,则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。
例如,你可以使用下面的API来改变这个设置:

curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
  "persistent": {
    "xpack.monitoring.elasticsearch.collection.enabled": false
  }
}
'

保留xpack.monitoring.enabled设置为它的默认值(true)。

  1. 在生产集群的每个节点上:
      a.1. Install Metricbeat.
      b.在Metricbeat中启用弹性搜索模块
      例如,要启用在modules.d目录下的默认配置,运行下面的命令:

metricbeat modules enable elasticsearch

更多信息,请参见 Specify which modules to runElasticsearch module.

c.在Metricbeat中配置Elasticsearch模块
  你必须在moudles.d/elasticsearch.yml文件中指定以下设置:

- module: elasticsearch
metricsets:
  - ccr
  - cluster_stats
  - index
  - index_recovery
  - index_summary
  - ml_job
  - node_stats
  - shard
period: 10s
hosts: ["http://localhost:9200"]   # 1
xpack.enabled: true  # 2

1.此设置标识用于访问Elasticsearch的主机和端口号。
2.此设置确保Kibana能够成功读取此监视数据。也就是说,它存储在与 exporters发送的监控数据相同的位置和格式中。

d.如果Elastic的安全特性被启用, 您还必须提供用户ID和密码,以便Metricbeat能够成功收集指标。
  i.在生产集群上创建一个具有内置的remote_monitoring_collector权限的用户。或者,使用内置的用户remote_monitoring_user.
  ii.增加usernamepassword设置到ELasticsearch模块的配置文件。
  例如,在modules.d/elasticsearch.yml文件中增加下面的设置:

- module: elasticsearch
  ...
  username: remote_monitoring_user
  password: YOUR_PASSWORD

e.如果你配置了Elasticsearch使用加密通信,你必须通过HTTPS访问它。例如,在moudles.d/elasticsearch.yml文件里使用一个hosts设置像https://localhost:9200.

f.确定将监视数据发送到何处。
TIPS:在生产环境,我们强烈建议使用一个分开的集群(称为监控集群)来存储数据。使用分开的监控集群防止生产集群中断影响您访问监视数据的能力。它还可以防止监视活动影响生产集群的性能。

例如,在Metricbeat配置文件(Metricbeat .yml)中指定Elasticsearch输出信息:

output.elasticsearch:

hosts: ["https://es-mon-1:9200","https://es-mon-2:9200"]

在这个例子中,数据存储在一个监控集群带有节点es-mon-1es-mon-2.

更多关于配置项的信息,请参见Configure the Elasticsearch output.

g.如果在集群上启用了Elasticsearch的安全特性,你必须提供一个有效的用户ID和密码以便Metricbeat能够成功的发送指标。
  i.在监控集群上创建一个具有内置的remote_monitoring_agent权限的用户。或者,使用内置的用户remote_monitoring_user.
  ii.增加usernamepassword设置到ELasticsearch输出信息配置在Metricbeat配置文件中(metricbeat.yml):

output.elasticsearch:
  ...
  username: remote_monitoring_user
  password: YOUR_PASSWORD

h.如果你配置了监控集群使用加密通信,你必须通过HTPPS访问它。例如,使用一个hosts设置像https://es-mon-1:9200metricbeat.yml文件中。

4.启动ELasticsearch
5.启动Metricbeat
6.在Kibana查看监控数据

下一章 —— Elasticsearch学习笔记(10)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容