相关组件
- Elastic search 服务用于分词并索引日志数据
- Logstash / filebeat 服务用于从主机上收集日志文件内容并发送到 Elastic search 服务索引存储
- Kibana 服务通过 Elastic search 服务提供的 rest api 查询和可视化展示日志
服务搭建
通过 docker 部署，创建一个部署脚本 elk.sh 内容如下，直接运行脚本即可完成部署，部署完成后通过浏览器访问两 Kibana 管理入口：http://localhost:9200 和 Elastic Search 服务入口 http://localhost:5601 验证是否正确部署完成，服务搭建完成后，Elastic search 中没有任何日志数据，需要通过在其他主机上配置 filebeat 将某个应用的数据发送到服务器中。
docker stop elk
docker rm -f elk
docker run -d \
--restart always \
--name elk \
-p 9200:9200 \
-p 5601:5601 \
nshou/elasticsearch-kibana
Windows 10 filebeat 服务安装配置
下载开源版本 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.6.1-windows-x86_64.zip，解压缩到 C 盘根目录下， 如下图修改配置文件，在 c:\logs 目录下创建一个错误日志文件 error.log 并添加日志内容，通过管理员权限打开 powershell，拖放文件 install-service-filebeat.ps1 运行服务。
filebeat.inputs:
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
- C:\Program Files (x86)\CMOS-UE\logs\*.log
#- c:\programdata\elasticsearch\logs\*
#============================= Filebeat modules ===============================
filebeat.config.modules:
# Glob pattern for configuration loading
path: ${path.config}/modules.d/*.yml
# Set to true to enable config reloading
reload.enabled: false
# Period on which files under path should be checked for changes
#reload.period: 10s
#==================== Elasticsearch template setting ==========================
setup.template.settings:
index.number_of_shards: 1
#index.codec: best_compression
#_source.enabled: false
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["10.0.23.198:9200"]
# Protocol - either `http` (default) or `https`.
# protocol: "https"
Ubuntu 18.04 filebeat 服务安装配置
从官方地址 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.6.1-amd64.deb 下载对应的版本安装完成后，修改配置文件 /etc/filebeat/filebeat.yml，完成后重启服务.
# 安装服务，停止和启动服务，查看服务状态
dpkg -i filebeat-oss-7.6.1.deb
service filebeat stop
service filebeat start
service filebeat staus
Kibana 使用
完成了第一阶段的配置后，登录 http://localhost:9200 即可查看日志，如何使用 Kibana 请参见官方帮助文档。
