上一篇文章如何监控Elasticsearch主要描述了对于Es服务器应该监控哪些指标。本文旨在介绍es api中的各统计指标含义。
Elasticsearch’s RESTful API + JSON
默认情况下，Elasticsearch在9200端口上提供了restful http服务，返回集群，节点，索引状况的JSON结果。主要有五个HTTP REST API可用于监视Elasticsearch：
- Cluster Health API
- Cluster Stats API
- Node Stats API
- Index Stats API
- Pending Tasks API
下面的表格总结了上一篇文章中提到搜索性能，索引性能，内存性能，网络性能对应的ES API。其中有些性能数据是从多个维度描述的，比如搜索性能在节点维度和索引维度都有提供。
| Metric category | Availability |
|---|---|
| Search performance metrics | Node Stats API, Index Stats API |
| Indexing performance metrics | Node Stats API, Index Stats API |
| Memory and garbage collection | Node Stats API, Cluster Stats API |
| Network metrics | Node Stats API |
| Cluster health and node availability | Cluster Health API |
| Resource saturation and errors | Node Stats API, Index Stats API, Cluster Stats API, Pending Tasks API |
（一）Cluster Health API
Cluster Health API提供了描述集群健康状态的JSON对象数据。
API接口：
GET _cluster/health
返回结果JSON：
{
"cluster_name": "elasticsearch",
"status": "yellow",
"timed_out": false,
"number_of_nodes": 1,
"number_of_data_nodes": 1,
"active_primary_shards": 11,
"active_shards": 11,
"relocating_shards": 0,
"initializing_shards": 0,
"unassigned_shards": 10,
"delayed_unassigned_shards": 0,
"number_of_pending_tasks": 0,
"number_of_in_flight_fetch": 0,
"task_max_waiting_in_queue_millis": 0,
"active_shards_percent_as_number": 52.38095238095239
}
-
status一共有3个状态：green表示所有主分片及备份分片都分配好了，集群100%健康。yellow表示所有主分片都分配好了，但至少有一个备份分片未分配。数据没有丢失，搜索结果是完整的。但高可用性会缺失，存在丢失数据风险，以黄色表示警告。red表示至少有一个主分片未分配，并且这个主分片的所有分片都丢失了。数据已经丢失了，搜索结果不完整，并且往这个分片索引数据会发生异常。 -
number_of_nodes和number_of_data_nodes，从名字就可以知道分别是节点数和数据节点数。 -
active_primary_shards，集群中所有index的主分片数量的总和。 -
active_shards，集群中所有index的分片数量的总和，包括备份分片。 -
relocating_shards，正在被移动的分片数量。通常为0，在集群rebalance的时候会有变化。
（二）Cluster Stats API
Cluster Stats API提供了集群维度的信息。基本上是Node Stats API的数据的总和。虽然没有每个节点的详细信息，但是可以让你快速了解掌握整个集群当前的运行状态。
API接口：
GET _cluster/stats
{
"_nodes": {
"total": 1,
"successful": 1,
"failed": 0
},
"cluster_name": "elasticsearch",
"timestamp": 1500175210218,
"status": "yellow",
"indices": {
"count": 11,
"shards": {...},
"docs": {...},
"store": {...},
"fielddata": {...},
"query_cache": {...},
"completion": {...},
"segments": {...}
},
"nodes": {
"count": {...},
"versions": [...],
"os": {...},
"process": {...},
"jvm": {...},
"fs": {...},
"plugins": [...],
"network_types": {...}
}
}
对于indices和nodes内部属性的含义会在Node Stats API里介绍
（三）Node Stats API
Node Stats API是一个非常有用的API，用于监控集群每台服务器的状态。它统计了我们想要监控的主要的那些指标，包括了我们上一篇列举的大部分指标。
API接口：
GET _nodes/stats （或者指定node获取 _nodes/node1,node2/stats）
{
"_nodes": {
"total": 1,
"successful": 1,
"failed": 0
},
"cluster_name": "elasticsearch",
"nodes": {
"SdRLvOO7RKSiaBW_hmwvZg": {
"name": "node1",
"indices": {...},
"os": {...},
"process": {...},
"jvm": {...},
"thread_pool": {...},
"fs": {...},
"transport": {...},
"http": {...}
}
...
}
}
- 查询性能指标，前缀indices.search.*的指标
-
indices.search.query_total查询总量 -
indices.search.query_time_in_millis查询总耗时 -
indices.search.query_current正在处理的查询量 -
indices.search.fetch_total查询的第二阶段fetch总量 -
indices.search.fetch_time_in_millisfetch耗时 -
indices.search.fetch_current正在处理的fetch数量
-
- 索引性能指标，前缀indices.indexing.* ，indices.refresh.* ，indices.flush.* 的指标
-
indices.indexing.index_total索引总量 -
indices.indexing.index_time_in_millis索引耗时 -
indices.indexing.index_current正在处理的索引量 -
indices.refresh.total刷新内存总量 -
indices.refresh.total_time_in_millis刷新内存耗时 -
indices.flush.total同步磁盘总量 -
indices.flush.total_time_in_millis同步磁盘耗时
-
- Cache性能指标，前缀indices.query_cache.* ，indices.fielddata.* ，indices.request_cache.* 的指标。fielddata可能会成为内存消耗大户，需要特别注意
-
indices.query_cache.memory_size_in_bytes查询缓存大小 -
indices.query_cache.evictions查询缓存剔除大小 -
indices.fielddata.memory_size_in_bytesfielddata缓存大小 -
indices.fielddata.evictionsfielddata缓存剔除大小 -
indices.request_cache.memory_size_in_bytes所有请求缓存大小 -
indices.request_cache.evictions所有请求缓存剔除大小
-
- os指标
-
os.cpu.percent系统CPU使用百分比 -
os.cpu.load_average.1m系统CPU 1分钟平均load -
os.cpu.load_average.5m系统CPU 5分钟平均load -
os.cpu.load_average.15m系统CPU 15分钟平均load -
os.mem.free_percent系统内存可用百分比 -
os.mem.used_percent系统内存已使用百分比 -
os.mem.total_in_bytes系统内存总大小 -
os.mem.free_in_bytes系统内存可用大小 -
os.mem.used_in_bytes系统内存已使用大小 -
os.swap.total_in_bytes系统swap总大小 -
os.swap.free_in_bytes系统swap可用大小 -
os.swap.used_in_bytes系统swap已使用大小
-
- process指标，专用与es jvm进程的资源消耗指标
-
process.cpu.percent进程CPU使用百分比 -
process.cpu.total_in_millis进程CPU使用时间 -
process.mem.total_virtual_in_bytes进程可用虚拟内存大小 -
process.open_file_descriptors进程打开文件句柄数 -
process.max_file_descriptors进程可用句柄数
-
- JVM性能指标，前缀jvm.*的指标，内存使用及GC指标
-
jvm.gc.collectors.young.collection_countyoung gc 大小 -
jvm.gc.collectors.young.collection_time_in_millisyoung gc 耗时 -
jvm.gc.collectors.old.collection_countold gc 大小 -
jvm.gc.collectors.old.collection_time_in_millisold gc 耗时 -
jvm.mem.heap_used_percent内存使用百分比 -
jvm.mem.heap_used_in_bytes内存使用量 -
jvm.mem.heap_committed_in_bytes内存占用量
-
- 线程池性能指标，前缀thread_pool.*的指标
-
thread_pool.bulk.queuethread_pool.index.queuethread_pool.search.queuethread_pool.merge.queue各队列长度 -
thread_pool.bulk.rejectedthread_pool.index.rejectedthread_pool.search.rejectedthread_pool.merge.rejected各队列溢出量（未执行，被放弃）
-
- 文件系统指标
-
fs.total.total_in_bytes数据目录总大小 -
fs.total.free_in_bytes数据目录剩余大小 -
fs.total.vailable_in_bytes数据目录可用大小
-
- 集群通信指标
-
transport.rx_count集群通信中接收的数据包总数 -
transport.rx_size_in_bytes集群通信中接收的数据的总大小 -
transport.tx_count集群通信中发送的数据包总数 -
transport.tx_size_in_bytes集群通信中发送的数据的总大小 -
transport.server_open为集群通信打开的连接数
-
