简述
Filebeat是elastic公司beats系列工具中的一个，主要用于收集本地日志。
在服务器上安装后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到配置文件中指定的输出端（例如：elasticsearch,logstarsh或kafka）。
Filebeat使用go语言开发，使用时没有其他依赖，比logstash-forworder轻量，不会占用部署服务器太多的资源。
filebeat的工作流程：当你开启filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。
安装及使用
- 安装
可以使用系统的支持的命令（deb for Debian/Ubuntu, rpm for Redhat/Centos/Fedora
）进行安装，也可以下载压缩包进行安装。本文中选择使用压缩包的方式。
首先下载压缩包，我的操作系统环境是centos7.3 64bit，所以选择下载filebeat-6.2.4-linux-x86_64.tar.gz。读者可依据自己的操作系统环境选择正确的版本。下载地址：https://www.elastic.co/downloads/beats/filebeat
tar xzf filebeat-6.2.4-linux-x86_64.tar.gz
2.配置filebeat
配置filebeat需要编辑filebeat的配置文件，不同安装方式，配置文件的存放路径有一些不同， 对于 rpm 和 deb的方式, 配置文件路径的是 /etc/filebeat/filebeat.yml，对于压缩包的方式，配置文件存在在解压目录下（例如：我是在home目录下进行的解压，那么配置文件的路径就应该是~/filebeat-6.2.4-linux-x86_64/filebeat.yml）。
由于我的预期目标是将filebeat收集的日志发送到kafka,所以配置output就选择了kafka。读者可根据自己的使用场景，配置output。
- 定义日志文件路径
- type: log
# Change to true to enable this prospector configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
- /var/log/*.log
例子中的配置将对/var/log目录下所有以.log结尾的文件进行采集。
- 定义输出到kafka
.kafka:
# initial brokers for reading cluster metadata
hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
# message topic selection + partitioning
topic: log
3.启动
cd filebeat-6.2.4-linux-x86_64
./filebeat -e -c filebeat.yml
本文中只是为满足需求对filebeat进行了最基本的配置。filebeat的很多重要的配置和特性并没有体现（例如：模块，多行消息），读者如果需要更深入的了解请参考：https://www.elastic.co/guide/en/beats/filebeat/current/configuring-howto-filebeat.html。
欢迎大家在评论区讨论使用过程的心得和疑惑。
