ELK+filebeat inside docker LTS 长期维护文档

决定写一遍文档 记录容器化elk+filebeat 的学习过程的心得日志, 记录的出发点是从我一脸懵逼的状态开始的,所以应该会很适合第一次接触elk的朋友们.

Tips:

  1. 原则上filebeat 需要跟elk的大版本号一致, 我目前使用的elk是6.3.0 filebeat是6.3.1 docker.elastic.co/beats/filebeat:6.3.1
  2. 默认的logstash读取beat是打开ssl的. 取消logstash里的ssl或者在filebeats正确使用ssl证书.

获取镜像
docker pull sebp/elk:630
docker pull docker.elastic.co/beats/filebeat:6.3.1

运行 elk
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk

启动elk意外的简单,体现出了容器化的优点,非常简单的就能启动程序, 打开kibana的5601端口进去溜达一下了, 但是里面是空的 没有数据. 我学习elk的目的是为了监控我目前正在使用的docker log,所以下一步是打断用filebeat来转发日志到elk上.
首先用filebeat转发本地的一个log.txt文件 一会我们往里面echo 东西做调试.

运行 filebeat
docker run -v /home/daniel/Documents/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /home/daniel/Documents/elk/:/home/daniel/Documents/elk/ docker.elastic.co/beats/filebeat:6.3.1

filebeat可以把日志直接转发到ES 或者转发到logstash, 其中的区别取决于你是否需要在ES之前需要对数据进行过滤 聚合等操作, 如果暂时没需求 也可以直接转到ES上, (这里建议先发到ES上, logstash会遇到SSL证书的问题) 或者转到redis或者kafka后面再学习这种情况.

filebeat启动也很简单, 问题是启动了之后 elk里啥也没有.查了很多文档 发现filebeat启动需要挂载filebeat.yml配置文件

output.logstash:
    enabled: false 
    hosts:
      - 192.168.0.98:5044
 output.elasticsearch:
    enabled: true
    hosts:
      - 192.168.0.98:9200 

filebeat:
  inputs:
  - type: log
    enabled: true
    paths:
      - /home/daniel/Documents/elk/nima.log 

这里的output配置了logstash跟es的,暂时先把logstash的disable掉, 注意不要使用localhost, 不然连不上 需要使用LAN ip.
启动filebeat时挂载了两个目录,第一个是filebeat.yml, 这是filebeat的配置文件,需要挂载进去.
第二个是需要监控的log目录 也需要挂载进去.

挂载log目录跟filebeat.yml配置一样的 log目录之后, 会发现filebeat启动时会打印
Harvester started for file: /home/daniel/Documents/elk/nima.log
如果没有挂载log目录,则没有havester启动信息.

现在就可以在elk里看到Log了. 第一步成功了.

这里如果要output到logstash的话,需要注意要么filebeat要使用logstash里的ssl证书,要么logstash把默认的配置filebeat的文件去掉ssl功能.

我是通过重新打docker image的方式去掉logstash里的ssl配置
把 /etc/logstash/conf.d/02-beats-input.conf 拷贝出来 把里面关于SSL的三行去掉
docker cp CONTAINER_ID /etc/logstash/conf.d/02-beats-input.conf .
创建Dockerfile

FROM sebp/elk
# overwrite existing file
ADD ./02-beats-input.conf /etc/logstash/conf.d/02-beats-input.conf

docker build -t my_elk .
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name my_elk my_elk

有一个问题是 每次把filebeat docker 关了 再run之后发现 elk里的log每次都重新读取了一次,都是重复的,
然后查看文档 在filebeat里 有一个registry的文件是负责记录读取的log的状态的, 而我每次启动filebeat都是docker run一个新的
而不是 继续用老的filebeat 容器, 所以会重复, 总之就是 filebeat跟elk的容易不需要每次都创建,因为他们在容器内都会需要记录一下内容.

下一步是准备用filebeat转发目前使用中的docker的log
首先需要要需要转发log的机器上运行filebeat
docker tag docker.elastic.co/beats/filebeat i71:5000/filebeat
docker push i71:5000/filebeat
后面这个是我在使用的docker private registry
然后再目标机器上pull下来
docker pull i71:5000/filebeat

docker log所在的目录是 /var/lib/docker/containers//.log
可以在path中 指定这个地方

然后别忘了启动filebeat时挂在docker container log目录
docker run -v /root/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /var/lib/docker/containers:/var/lib/docker/containers i71:5000/filebeat
发现filebeat启动时没有havester启动的日志
docker exec CONTAINER_ID bash
进去看一下发现挂在的docker目录没权限 进不去

所以需要在宿主机执行sudo chmod -R 755 /var/lib/docker/containers
给上读与执行的权限

再次启动filebeat就可以看到havester的消息了.

这样的配置方法是可以拿到所有docker的log 优点是 以后新创建的docker的log也会被捕获到, 缺点是 如果机器上的docker 太多的话,log会很多,目前我还不会过滤 所以 看着很难受

elk 官方提供了一种实验性的读取docker log的 filebeat配置方式
https://www.elastic.co/guide/en/beats/filebeat/6.3/filebeat-input-docker.html

- type: docker
  containers:
    path: "/var/lib/docker/containers"
    stream: "stdout"
    ids:
      - "CONTAINER_ID"
      - "CONTAINER_ID"

注意这里的container_id不能使简写 , 可以先用docker ps看到简写id之后在ls /var/lib/docker/containers/里去找
或者 使用命令 docker ps --no-trunc=true 获得container 完整ID

这样就简洁多了,就是发版本时docker 新容器需要重新配置, 暂时就这么用吧,先研究一下

现在就算是正式的可以使用elk 查看我们的docker log了
我现在首先遇到的一个明显的问题是 当python出异常时 打印出来的log 在elk里都分散开了, 而且时间顺序也没对,查看起来非常难受. 后来查到 这种事情需要配置一个叫multipleline的东西,它负责决定什么时候出换行
贴一下现在的filebeat配置文件, 整个世界清爽了很多啊

output.logstash:
    hosts: ["192.168.0.98:5044"]

filebeat.inputs:
  - type: docker
    enabled: true
    multiline.pattern: ^\[
    multiline.negate: true
    multiline.match: after
    containers.ids:
       - 'd64f1da9c5bc647f8ede44ba8bebb13c31b047103ed6033297f3c4bd666cfa05'
       - '5ae2f7cec9aa7c0a525c0e0c0201892b08e89e12b0b618491e45186848955f5c'                                                             

关于multiline,参考:
参考 http://www.madhur.co.in/blog/2017/04/30/view-exceptions-in-elk.html 这个是不以空格开头的 都合并
我感觉这个不适合python所以选择了 下面这种正则 不以[开头的都合并.
https://blog.csdn.net/xiaoliuliu2050/article/details/77867401 这个适合python

推荐阅读更多精彩内容