Flink任务日志写到kafka【最新1.12,1.13】

这篇文章如果对你有帮助,记得点赞哦!有问题也可以给我评论~

一、背景

公司的日志希望能够同一到一个Kibana去做一个同一的展示,那就需要将任务的日志写到kafka。
Flink1.12开始默认的日志框架就是log4j2,那么配置的方式跟之前log4j的方式有了一些区别,这边也踩了一些坑才解决。

二、需要解决的痛点

    - 如何区分JobManager和TaskManager的日志
    - 如何将jobName信息添加到每条日志中,为后期的日志聚合提供方便

三、详细配置介绍

1、log4j.properties完整配置如下:

# This affects logging for both user code and Flie
rootLogger.appenderRef.rolling.ref = RollingFile
rootLogger.appenderRef.kafka.ref = Kafka
rootLogger.level = INFO


# The following lines keep the log level of common libraries/connectors on
# log level INFO. The root logger does not override this. You have to manually
# change the log levels here.
logger.akka.name = akka
logger.akka.level = INFO
logger.kafka.name= org.apache.kafka
logger.kafka.level = INFO
logger.hadoop.name = org.apache.hadoop
logger.hadoop.level = INFO
logger.zookeeper.name = org.apache.zookeeper
logger.zookeeper.level = INFO
logger.pupu.name = com.pupu
logger.pupu.level = DEBUG

# Log all infos in the given rolling file
appender.rolling.type = RollingFile
appender.rolling.name = RollingFile
appender.rolling.append = false
appender.rolling.fileName = ${sys:log.file}
appender.rolling.filePattern = ${sys:log.file}.%i
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.rolling.policies.type = Policies
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
appender.rolling.policies.size.size = 200MB
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.max = 10


# Suppress the irrelevant (wrong) warnings from the Netty channel handler
logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline
logger.netty.level = OFF

# kafka appender config
appender.kafka.type=Kafka
appender.kafka.name=Kafka
appender.kafka.topic=flink_job_logs
appender.kafka.property.type=Property
appender.kafka.property.name=bootstrap.servers
appender.kafka.property.value=xxxxxxxxxxxx:9092
## kafka的输出的日志pattern
appender.kafka.layout.type=PatternLayout
appender.kafka.layout.pattern=%d{yyyy-MM-dd HH:mm:ss,SSS}  ${sys:log.file}  ${sys:flink_per_job_name} %-5p %-60c %x - %m%n
## 输出json格式的日志
#appender.kafka.layout.type=JSONLayout
#appender.kafka.layout.compact=true
#appender.kafka.layout.complete=false
#appender.kafka.layout.includeTimeMillis=true
#appender.kafka.layout.additionalField1.type=KeyValuePair
#appender.kafka.layout.additionalField1.key=logdir
#appender.kafka.layout.additionalField1.value=${sys:log.file}
#appender.kafka.layout.additionalField2.type=KeyValuePair
#appender.kafka.layout.additionalField2.key=flink_per_job_name
#appender.kafka.layout.additionalField2.value=${sys:flink_per_job_name}

2、hdfs的/flink/lib包目录下添加相关jar包

因为log4j2自带 kafka-log4j-appender,所以不需要添加这个包。
如果你的jar包没有包含kafka-client包,最好添加跟你其他地方一个版本的,我这里添加是kafka-clients-2.6.0.jar

3、启动任务时需要添加对应的flink_per_job_name到环境变量中

"env.java.opts":"-Dflink_per_job_name=mytestyjb"

这里有两种方式:
    - flink run的方式:指定-yD
    - 通过将配置项放到flink-conf.yaml

四、问题及解决

1、log4j2的properties配置方式

     - 官网配置
         [http://logging.apache.org/log4j/2.x/manual/configuration.html#Properties]
         [http://logging.apache.org/log4j/2.x/manual/appenders.html#KafkaAppender]
     - Stack Overflow上的解决
         [https://stackoverflow.com/questions/56252787/configure-log4j-properties-for-kafka-appender-error-when-parsing-property-boots]

2、Class org.apache.kafka.common.serialization.ByteArraySerializer could not be found.

   flink lib缺少了kafka-clients-2.6.0.jar 包导致,详细参考跳转链接
   之前刚看到这个报错以为是依赖冲突,后来排查半天发现没有依赖冲突,然后各种百度,有的说需要在new producer前面加一个Thread.currentThread().setContextClassLoader(null) ,然而并没有解决,想了解跳转链接

3、打到kafka的日志如何区分不同的jobname、JM和TM的日志?

(1)区分不同的jobname的日志

  精髓 :就是想办法把环境变量传到flink运行时输出日志时,能够被log4j2识别到。
  步骤:
     - 想传入被识别到,目前经过实践,通过env.java.opts这个参数可以达到我们的目的。见官网跳转链接
还有另外几个参数可以尝试一下:env.java.opts.jobmanager、env.java.opts.taskmanager;containerized.master.env.和containerized.taskmanager.env.这个试了不行。
     - log4j想要识别到这个环境变量,他的格式是:${sys: 环境变量名}

(2)区分JM和TM的日志

     这边真的是踏遍铁鞋无匿处,得来全不费功夫!
     flink 的配置的RollingFile已经用这个参数${sys:log.file}指明了文件名,然后web UI上面能够取到对应的数据,那么把${sys:log.file}这个参数放到我的layout里面,那kafka那边就可以直接区分!真是完美!

4、打到kafka的layout日志支持json格式

参考这个跳转链接,上面也有具体的配置

推荐阅读更多精彩内容