在ES 7.4版本后，我们拥有了SLM(快照生命周期管理)的功能，但是只有X-PACK商业版才能使用该功能，快照生命周期管理的实现也比较简单，实际上就是制定计划定时执行快照，我们可以通过编写脚本然后配置crontab任务来实现SLM。本文主要介绍如何利用腾讯云的SCF(云函数)来实现SLM并且结合ILM(索引生命周期管理)降低集群整体的分片数量和数据存储量，从而降低集群压力，减少存储成本。
实施步骤
1. 创建COS仓库
我们把快照保存到腾讯云的COS对象存储中，首先需要调用ES的API创建一个COS repository:
PUT _snapshot/cos-repo
{
"type": "cos",
"settings": {
"app_id": "xxxxxxx",
"access_key_id": "xxxxxx",
"access_key_secret": "xxxxxxx",
"bucket": "xxxxxx",
"region": "ap-guangzhou",
"compress": true,
"chunk_size": "500mb",
"base_path": "/"
}
}
更详细的基于COS备份和恢复ES数据的步骤可以参考使用 COS 进行备份及恢复.
2. 创建SCF云函数
如图，基于名为"ES写入函数"的模板，创建一个新的函数：
image
点击"下一步"进入函数编辑界面，直接复制如下函数代码粘贴到编辑框，修改ES的vip和用户名密码，以及索引前缀名称等信息：
# -*- coding: utf8 -*-
import datetime
from elasticsearch import Elasticsearch
ESServer = Elasticsearch(["x.x.x.x:9200"],http_auth=('username', 'password'))
# 需要进行备份的索引名称前缀，需要进行修改
esPrefix = "my-index-"
# 备份多少天前的索引
beforeOfDay = 7
def check_or_create_snapshot():
today = datetime.datetime.now()
offset = datetime.timedelta(days=-beforeOfDay)
re_date = (today + offset).strftime('%Y-%m-%d');
params = {}
params["ignore_unavailable"] = "true"
getResult = ESServer.snapshot.get("cos-repo", "snapshot-"+ re_date, params = params)
snapshots = getResult["snapshots"]
if len(snapshots) != 0:
if snapshots[0]["state"] == "SUCCESS":
print "snapshot-"+ re_date +" executed finished!"
else:
print "snapshot-"+ re_date +" is running!"
else:
body = {}
# 可以选择备份按天创建的索引
body["indices"] = esPrefix + re_date
# 也可以选择备份按小时创建的所有索引
# body["indices"] = esPrefix + re_date + "-*"
body["ignore_unavailable"] = "true"
body["include_global_state"] = "false"
createResult = ESServer.snapshot.create("cos-repo", "snapshot-"+ re_date,body)
if createResult["accepted"] == True:
print "create [snapshot-"+ re_date +"] success!"
return
else:
print "create [snapshot-"+ re_date +"] failed!" + str(createResult)
def main_handler(event,context):
check_or_create_snapshot()
image
点击"完成"即可完成云函数的创建。
3. 配置云函数
创建完云函数后，需要进行配置才能使用，如下图，可以配置函数的私有网络VPC和Subnet(选择和ES相同的VPC和Subnet):
image
4. 测试云函数
配置完云函数后，可以对函数代码进行测试，保证能够正常运行；如果需要进行编辑，可以直接编辑然后点击"保存并测试":
image
5. 配置触发器
配置触发器，每小时执行一次函数：
image
6. 查看函数监控
可以查看函数的运行监控信息：
image
也可以查看函数的运行日志：
image
7. 配置函数告警
在云监控的控制台配置SCF的监控告警，可以及时获取函数的执行情况：
image
8. 配置ILM
在ES的kibana中配置ILM(X-PACK商业版支持), 我们的场景是索引创建7天后将其移动到warm节点，15天后将副本调低为0，因为使用了上述基于SCF实现的SLM功能，因为数据已经备份再COS中了，副本数可以降低为0，这样做的好处一是可以降低集群整体的分片数量，避免影响集群性能；二是可以降低存储成本。
image
image
image
