在使用filebeat采集部署在使用腾讯云TKE容器集群上的日志时，会把default、kube-system等默认的命名空间下的日志都采集上来，但是这些命名空间下的日志一般都不是我们需要的，怎么过滤掉对这些命名空间下的容器运行日志？比较直观的想法是在filebeat的yml配置中定义好processors，使用drop_event processor对采集上来的不需要的日志进行丢弃，这种方法虽然能够实现日志的过滤，但是filebeat还是会对不需要采集的容器日志进行监听和采集，一定程度上降低了filebeat的效率，所以有没有好的方法能够从源头就不采集不需要的日志呢？
1. 使用filebeat 7.x版本采集容器日志
对于容器日志的采集，filebeat有专门的inupt类型：docker和container两种，早期的6.x版本的filebeat只有docker input类型，对于使用docker作为运行时组件的kubernetes集群，比较友好；在7.2版本的filebeat又重新开发了container类型的input类型，无论是docker组件还是containerd组件，都可以比较好的支持。因此从7.2版本开始，docker input就被废弃了，官方推荐使用container input。
在使用filebeat 7.x版本采集容器日志时，推荐采用container input，并且使用autodiscover实现容器的自动发现，也就是在有新的容器运行时，filebeat会自动去采集新建的容器日志，而不需要再去修改filebeat.yml来实现对新部署的容器日志的采集。而正式使用autodiscover功能，使得限定采集源成为了可能，因为在autodiscover模式下，filebeat在启动时就会去调用kubernetes API来获取当前集群下所有的namespace、pod、container等元数据的信息，然后根据这些元数据再去指定的目录采集对应的日志。
下面给出一个可用的限定采集源的filebeat.yml：
filebeat.autodiscover:
providers:
- type: kubernetes
hints.enabled: true
templates:
- condition:
and:
- or:
- equals:
kubernetes.namespace: testa
- equals:
kubernetes.namespace: testb
- equals:
kubernetes.container.name: nginx
kubernetes.labels:
k8s-app: nginx
config:
- type: container
paths:
- /var/log/containers/${data.kubernetes.pod.name}_${data.kubernetes.namespace}_${data.kubernetes.container.name}-*.log
output.elasticsearch:
hosts: ['x.x.x.x:9200']
username: "xxx"
password: "xxx"
上述配置中，用于限定采集源的就是condition模块下的部分，用于限定只采集testa 或者 testb命名空间下的nginx容器的日志。可以根据kubernetes元数据来限定采集源，可用的元数据有以下这些：
host
port (if exposed)
kubernetes.labels
kubernetes.annotations
kubernetes.container.id
kubernetes.container.image
kubernetes.container.name
kubernetes.namespace
kubernetes.node.name
kubernetes.pod.name
kubernetes.pod.uid
kubernetes.node.name
kubernetes.node.uid
kubernetes.namespace
kubernetes.service.name
kubernetes.service.uid
kubernetes.annotations
上述配置中，condition可以根据需求定义更复杂的限定条件，可以参考Conditions进行填写。
另外需要注意的是，上述配置中的config模块下的paths路径，需要也通过占位符对日志文件的名称进行匹配，否则就会出现采集上来的日志内容与kubernetes元数据不一致的问题。比如/var/log/containers目录下有各个pod的日志，日志文件名的命名规则为{pod_name}_{namespace}_{container_name}-{container_id}.log
nginx-6c5ff7b97b-6t5k4_default_nginx-eeecb30c81564668b1858c186099ab525431b435ed1b8fa3b25704cbbbca6a2d.log
那么 paths就需要通过$符进行规则匹配：
${data.kubernetes.pod.name}_${data.kubernetes.namespace}_${data.kubernetes.container.name}-*.log
2. 使用filebeat 6.x版本采集容器日志
6.x版本的filebeat，只有docker input, 对于docker运行时组件比较友好，而对于containerd运行时组件，不太友好，没有较好的方式限定采集源，只能全量采集所有容器的日志。
2.1 采集docker组件部署的kubernetes集群中的容器日志：
filebeat.autodiscover:
providers:
- type: kubernetes
templates:
- condition:
and:
- equals:
kubernetes.labels:
k8s-app: nginx
config:
- type: docker
combine_partial: true
containers:
ids:
- ${data.kubernetes.container.id}
output.elasticsearch:
hosts: ['http://x.x.x.x:9200']
username: "xxxx"
password: "xxx"
其中的condition条件用于限定只采集标签为k8s-app: nginx的容器的日志。
2.2 采集containerd组件部署的kubernetes集群中的容器日志：
filebeat.autodiscover:
providers:
- type: kubernetes
hints.enabled: true
templates:
- condition:
and:
- equals:
kubernetes.labels:
k8s-app: nginx
config:
- type: docker
combine_partial: true
symlinks: true
containers:
path: "/var/log/containers"
ids:
- ""
output.elasticsearch:
hosts: ['http://x.x.x.x:9200']
username: "xxx"
password: "xxxx"
上述配置与2.1中配置的区别是，需要显式的指定container.path为/var/log/containers, 因为containerd组件下，容器日志在该目录下，并且为软链接，需要指定symlinks: true，否则就无法采集。另外，container.ids需要指定为空字符串，不必限定容器的id的匹配规则，该配置项对docker组件部署的容器有效，因为docker组件下，容器日志默认在/var/lib/docker/containers目录下，且日志文件名采用容器id命名。
上述配置的问题就是condition条件不会生效，会全量采集所有的命名空间下的容器日志，目前没有找到较好的解决办法来限定采集源，但是可以通过定义drop_event processor来丢弃掉不需要采集的日志。实际使用中，还是建议直接使用7.2及以上版本的filebeat来采集使用containerd组件部署的kubernetes集群中的容器日志。
