肢解架构-日志管理

日志组件介绍

常用组件

  1. jul
  2. jcl
  3. log4j2
  4. log4j
  5. slf4j
  6. logback
  7. jboss-logging

发展历史

  • 1996年早期,欧洲安全电子市场项目组决定编写它自己的程序跟踪API(Tracing API)。经过不断的完善,这个API终于成为一个十分受欢迎的Java日志软件包,即Log4j。后来Log4j成为Apache基金会项目中的一员。
  • 期间Log4j近乎成了Java社区的日志标准。据说Apache基金会还曾经建议Sun引入Log4j到java的标准库中,但Sun拒绝了。
  • 2002年Java1.4发布,Sun推出了自己的日志库JUL(Java Util Logging),其实现基本模仿了Log4j的实现。在JUL出来以前,Log4j就已经成为一项成熟的技术,使得Log4j在选择上占据了一定的优势。
  • 接着,Apache推出了Jakarta Commons Logging,JCL只是定义了一套日志接口(其内部也提供一个Simple Log的简单实现),支持运行时动态加载日志组件的实现,也就是说,在你应用代码里,只需调用Commons Logging的接口,底层实现可以是Log4j,也可以是Java Util Logging。
  • 后来(2006年),Ceki Gülcü不适应Apache的工作方式,离开了Apache。然后先后创建了Slf4j(日志门面接口,类似于Commons Logging)和Logback(Slf4j的实现)两个项目,并回瑞典创建了QOS公司,QOS官网上是这样描述Logback的:The Generic,Reliable Fast&Flexible Logging Framework(一个通用,可靠,快速且灵活的日志框架)。
  • 现今,Java日志领域被划分为两大阵营:Commons Logging阵营和Slf4j阵营。Commons Logging在Apache大树的笼罩下,有很大的用户基数,早期spring的集成框架。但有证据表明,形式正在发生变化,spring boot 默认使用了 Slf4j。
  • Apache眼看有被Logback反超的势头,于2012-07重写了Log4j 1.x,成立了新的项目Log4j 2, Log4j 2具有Logback的所有特性。

slf4j

官方网站

官网原理图
spring boot 利用slf4j兼容多种日志框架

Spring Boot默认集成日志框架logback

简介

Logger、appender及layout

Logger作为日志的记录器,把它关联到应用的对应的context上后,主要用于存放日志对象,也可以定义日志类型、级别。
Appender主要用于指定日志输出的目的地,目的地可以是控制台、文件、远程套接字服务器、 MySQL、 PostreSQL、 Oracle和其他数据库、 JMS和远程UNIX Syslog守护进程等。
Layout 负责把事件转换成字符串,格式化的日志信息的输出。

logger context

各个logger 都被关联到一个 LoggerContext,LoggerContext负责制造logger,也负责以树结构排列各 logger。其他所有logger也通过org.slf4j.LoggerFactory 类的静态方法getLogger取得。 getLogger方法以 logger 名称为参数。用同一名字调用LoggerFactory.getLogger 方法所得到的永远都是同一个logger对象的引用。

有效级别及级别的继承

Logger 可以被分配级别。级别包括:TRACE、DEBUG、INFO、WARN 和 ERROR,定义于 ch.qos.logback.classic.Level类。如果 logger没有被分配级别,那么它将从有被分配级别的最近的祖先那里继承级别。root logger 默认级别是 DEBUG。

打印方法与基本的选择规则

打印方法决定记录请求的级别。例如,如果 L 是一个 logger 实例,那么,语句 L.info("..")是一条级别为 INFO 的记录语句。记录请求的级别在高于或等于其 logger 的有效级别时被称为被启用,否则,称为被禁用。记录请求级别为 p,其logger的有效级别为 q,只有则当 p>=q时,该请求才会被执行。

该规则是 logback 的核心。级别排序为: TRACE < DEBUG < INFO < WARN < ERROR。

关于多环境

  • 通过spring boot 的配置文件指定
logging:
  config: classpath:conf/logback-dev.xml
  • 通过logback-spring.xml文件,spring使用标签管理
<springProfile name="dev">
    <logger name="com.sdcm.pmp" level="debug"/>
</springProfile>

logback配置信息

configuration

名称 说明,
scan 当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true。
scanPeriod 设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。当scan为true时,此属性生效。默认的时间间隔为1分钟。
debug 当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。

contextName

每个logger都关联到logger上下文,默认上下文名称为“default”。但可以使用contextName设置成其他名字,用于区分不同应用程序的记录。一旦设置,不能修改。

<configuration scan="true" scanPeriod="60 seconds" debug="false">
    <contextName>myAppName</contextName>
</configuration>

property

用来定义变量值的标签,property 有两个属性,name和value;其中name的值是变量的名称,value的值时变量定义的值。通过property定义的值会被插入到logger上下文中。定义变量后,可以使“${}”来使用变量。

<configuration scan="true" scanPeriod="60 seconds" debug="false">
    <property name="APP_Name" value="myAppName" /> 
    <contextName>${APP_Name}</contextName>
</configuration> 

timestamp

两个属性 key:标识此timestamp的名字;datePattern:设置将当前时间(解析配置文件的时间)转换为字符串的模式,遵循java.txt.SimpleDateFormat的格式。

<configuration scan="true" scanPeriod="60 seconds" debug="false">
    <timestamp key="bySecond" datePattern="yyyyMMdd'T'HHmmss"/>
</configuration>

loger

用来设置某一个包或者具体的某一个类的日志打印级别、以及指定appender。loger仅有一个name属性,一个可选的level和一个可选的addtivity属性。

名称 说明,
name 用来指定受此loger约束的某一个包或者具体的某一个类。
level 用来设置打印级别,大小写无关:TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF,还有一个特殊值INHERITED或者同义词NULL,代表强制执行上级的级别。如果未设置此属性,那么当前loger将会继承上级的级别。
addtivity 是否向上级loger传递打印信息。默认是true。loger可以包含零个或多个appender-ref元素,标识这个appender将会添加到这个loger。当loger中包含appender-ref时,如果addtivity=true,则会将打印信息传递到root;如果addtivity=false,则只会在loger中appender-ref打印信息,不会向上传递。

root

也是loger元素,但是它是根loger。只有一个level属性,应为已经被命名为"root".

appender

appender是configuration的子节点,是负责写日志的组件。
appender有两个必要属性name和class。name指定appender名称,class指定appender的全限定名。

ConsoleAppender

把日志添加到控制台,有以下子节点:

  • encoder:对日志进行格式化。
  • target:字符串 System.out 或者 System.err ,默认 System.out。
<configuration scan="true" scanPeriod="60 seconds" debug="false">
    <!-- Console 输出设置 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n</pattern>
            <charset>UTF8</charset>
        </encoder>
    </appender>
</configuration>

FileAppender

把日志添加到文件,有以下子节点:

  • file:被写入的文件名,可以是相对目录,也可以是绝对目录,如果上级目录不存在会自动创建,没有默认值。
  • append:如果是 true,日志被追加到文件结尾,如果是 false,清空现存文件,默认是true。
  • encoder:对记录事件进行格式化。
  • prudent:如果是 true,日志会被安全的写入文件,即使其他的FileAppender也在向此文件做写入操作,效率低,默认是 false。
<configuration>

    <appender name="FILE"  class="ch.qos.logback.core.rolling.FileAppender">
        <file>${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.log</file>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n</pattern>
        </encoder>
    </appender>

</configuration>

RollingFileAppender

滚动记录文件,先将日志记录到指定文件,当符合某个条件时,将日志记录到其他文件。有以下子节点:

  • file:被写入的文件名,可以是相对目录,也可以是绝对目录,如果上级目录不存在会自动创建,没有默认值。
  • append:如果是 true,日志被追加到文件结尾,如果是 false,清空现存文件,默认是true。
  • encoder:对记录事件进行格式化。
  • rollingPolicy:当发生滚动时,决定 RollingFileAppender 的行为,涉及文件移动和重命名。
  • triggeringPolicy:告知 RollingFileAppender 何时激活滚动。
  • prudent:当为true时,不支持FixedWindowRollingPolicy。支持TimeBasedRollingPolicy,但是有两个限制,1不支持也不允许文件压缩,2不能设置file属性,必须留空。
TimeBasedRollingPolicy

最常用的滚动策略,它根据时间来制定滚动策略,既负责滚动也负责出发滚动。有以下子节点:

  • fileNamePattern:必要节点,包含文件名及“%d”转换符, “%d”可以包含一个java.text.SimpleDateFormat指定的时间格式,如:%d{yyyy-MM}。如果直接使用 %d,默认格式是 yyyy-MM-dd。RollingFileAppender 的file字节点可有可无,通过设置file,可以为活动文件和归档文件指定不同位置,当前日志总是记录到file指定的文件(活动文件),活动文件的名字不会改变;如果没设置file,活动文件的名字会根据fileNamePattern 的值,每隔一段时间改变一次。“/”或者“\”会被当做目录分隔符。
  • maxHistory:可选节点,控制保留的归档文件的最大数量,超出数量就删除旧文件。假设设置每个月滚动,且maxHistory是6,则只保存最近6个月的文件,删除之前的旧文件。注意,删除旧文件是,那些为了归档而创建的目录也会被删除。
FixedWindowRollingPolicy

根据固定窗口算法重命名文件的滚动策略。有以下子节点:

  • minIndex:窗口索引最小值
  • maxIndex:窗口索引最大值,当用户指定的窗口过大时,会自动将窗口设置为12。
  • fileNamePattern:必须包含“%i”例如,假设最小值和最大值分别为1和2,命名模式为 mylog%i.log,会产生归档文件mylog1.log和mylog2.log。还可以指定文件压缩选项,例如,mylog%i.log.gz 或者 没有log%i.log.zip
SizeBasedTriggeringPolicy

查看当前活动文件的大小,如果超过指定大小会告知RollingFileAppender 触发当前活动文件滚动。只有一个节点:

  • maxFileSize:这是活动文件的大小,默认值是10MB。
<configuration>

    <appender name="FILE"  class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志文件输出的文件名-->
            <FileNamePattern>${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.%d{yyyy-MM-dd}.%i.log.gz</FileNamePattern>
            <!--日志文件保留天数-->
            <MaxHistory>180</MaxHistory>
        </rollingPolicy>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>${appName}-${appModule}-${appVersion}-${appNode} | %d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n</pattern>
        </encoder>
        <!--日志文件最大的大小-->
        <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <MaxFileSize>128MB</MaxFileSize>
        </triggeringPolicy>
    </appender>

</configuration

SocketAppender && SSLSocketAppender

SocketAppender就是被设计用来输出日志到远程实例中的。 SocketAppender输出日志采用明文方式, SSLSocketAppender则采用加密方式传输日志。

  • includeCallerData:是否包含调用者的信息如果为true,则以下日志输出的 ?:? 会替换成调用者的文件名跟行号,为false,则为问号。
  • port:端口号。
  • reconnectionDelay:重连延时,如果设置成“10 seconds”,就会在连接u武器失败后,等待10秒,再连接。默认值:“30 seconds”。如果设置成0,则关闭重连功能。
  • queueSize:设置缓冲日志数,如果设置成0,日志发送是同步的,如果设置成大于0的值,会将日志放入队列,队列长度到达指定值,在统一发送。可以加大服务吞吐量。
  • eventDelayLimit:设置日志超时丢弃时间。当设置“10 seconds”类似的值,如果日志队列已满,而服务器长时间来不及接收,当滞留时间超过10 seconds,日志就会被丢弃。默认值:100 milliseconds
  • remoteHost:远程日志服务器的IP
  • ssl:只在SSLSocketAppender包含该属性节点。提供SSL配置。

SMTPAppender

可以将logging event存放在一个或多个固定大小的缓冲区中,然后在用户指定的event到来之时,将适当的大小的logging event以邮件方式发送给运维人员 。

  • smtpHost:SMTP server的地址,必需指定。如网易的SMTP服务器地址是: smtp.163.com。
  • smtpPort:SMTP server的端口地址。默认值:25。
  • to:指定发送到那个邮箱,可设置多个to属性,指定多个目的邮箱。
  • from:指定发件人名称。如果设置成“Adam Smith <smith@moral.org> ”,则邮件发件人将会是“Adam Smith smith@moral.org
  • subject:指定emial的标题,它需要满足PatternLayout中的格式要求。如果设置成“ Log: %logger - %msg”,就案例来讲,则发送邮件时,标题为“ Log: com.foo.Bar - Hello World ”。默认值: "%logger{20} - %m".
  • discriminator:通过Discriminator, SMTPAppender可以根据Discriminator的返回值,将到来的logging event分发到不同的缓冲区中。默认情况下,总是返回相同的值来达到使用一个缓冲区的目的。
  • evaluator:指定触发日志发送的条件。通过<evaluator class=... />指定EventEvaluator接口的实现类。默认情况下SMTPAppeender使用的是OnErrorEvaluator,表示当发送ERROR或更高级别的日志请求时,发送邮件。Logback提供了几个evaluators:
    • OnErrorEvaluator
    • OnMarkerEvaluator
    • JaninoEventEvaluator
    • GEventEvaluator
  • cyclicBufferTracker:指定一个cyclicBufferTracker跟踪cyclic buffer。它是基于discriminator的实现的。如果你不指定,默认会创建一个CyclicBufferTracker ,默认设置cyclic buffer大小为256。你也可以手动指定使用默认的CyclicBufferTracker,并且通过bufferSize属性修改默认的缓冲区接收多少条logging event。
  • username:发送邮件账号,默认为null。
  • password:发送邮件密码,默认为null。
  • STARTTLS:如果设置为true,appender会尝试使用STARTTLS命令,如果服务端支持,则会将明文连接转换成加密连接。需要注意的是,与日志服务器连接一开始是未加密的。默认值:false。
  • SSL:如果设置为true,appender将会使用SSL连接到日志服务器。默认值:false。
  • charsetEncoding:指定邮件信息的编码格式。默认值:UTF-8。
  • localhost:如果smtpHost没有正确配置,比如说不是完整的地址。这时候就需要localhost这个属性提供服务器的完整路径(如同java中的完全限定名 ),详情参考com.sun.mail.smtp 中的mail.smtp.localhost属性
  • asynchronousSending:这个属性决定email的发送是否是异步。默认:true,异步发送但是在某些情况下,需要以同步方式发送错误日志的邮件给管理人员,防止不能及时维护应用。
  • includeCallerData:指定是否包含callerData在日志中。默认:false。
  • sessionViaJNDI:SMTPAppender依赖javax.mail.Session来发送邮件。默认情况下,sessionViaJNDI为false。javax.mail.Session实例的创建依赖于SMTPAppender本身的配置信息。如果设置为true,则Session的创建时通过JNDI获取引用。这样做的好处可以让你的代码复用更好,让配置更简洁。需要注意的是,如果使用JNDI获取Session对象,需要保证移除mail.jar以及activation.jar这两个jar包。
  • jndiLocation:如果sessionViaJNDI设置为true,则jndiLocation指定JNDI的资源名,默认值为:"java:comp/env/mail/Session"。

DBAppender

可以将日志事件插入到3张数据表中。它们分别是logging_event,logging_event_property,logging_event_exception。这三张数据表必须在DBAppender工作之前存在。它们的sql脚本可以在 logback-classic/src/main/java/ch/qos/logback/classic/db/script folder 这个目录下找到。这个脚本对大部分SQL数据库都是有效的,除了少部分,少数语法有差异需要调整。

  • connectionSource:数据库连接信息。

SiftingAppender

提供过滤筛选日志的功能。你可以通过用户的sessions的数据来筛选日志,然后分发到不同日志文件。

自定义Appender

你可以很简单的创建自己的Appender,通过继承父类AppenderBase。AppenderBase已经实现了对filters,status以及一些其他被大多数appender共享的功能的支持。我们所要做的仅仅是实现append(Object evenObject)这个方法。

encoder && layout

区别

在0.9.19版本之前,都是使用layout来控制输出的格式。在0.9.19就变成了使用encoder来控制。
encoder:主要工作有两个:①将一个event事件转换成一组byte数组,②将转换后的字节数据输出到文件中。
layout:主要的功能就是:将一个event事件转化为一个String字符串。

格式控制

转换符 作用
c {length}、lo {length}、logger {length} 输出日志的logger名,可有一个整形参数,功能是缩短logger名,设置为0表示只输入logger最右边点符号之后的字符串。 Conversion specifier Logger name Result
C {length}、class {length} 输出执行记录请求的调用者的全限定名。参数与上面的一样。尽量避免使用,除非执行速度不造成任何问题。
contextName、cn 输出上下文名称。
d{pattern}、date{pattern} 输出日志的打印日志,模式语法与java.text.SimpleDateFormat 兼容。 Conversion Pattern Result
F、file 输出执行记录请求的java源文件名。尽量避免使用,除非执行速度不造成任何问题。
caller{depth}、caller{depth, evaluator-1, ... evaluator-n} 输出生成日志的调用者的位置信息,整数选项表示输出信息深度。
L、line 输出执行日志请求的行号。尽量避免使用,除非执行速度不造成任何问题。
m、msg、message 输出应用程序提供的信息。
M、method 输出执行日志请求的方法名。尽量避免使用,除非执行速度不造成任何问题。
n 输出平台先关的分行符“\n”或者“\r\n”。
p、le、level 输出日志级别。
r、relative 输出从程序启动到创建日志记录的时间,单位是毫秒。
t、thread 输出产生日志的线程名。
replace(p){r,t} p 为日志内容,r 是正则表达式,将p 中符合r 的内容替换为t。例如, "%replace(%msg){'\s', ''}"。

filter

Logback的过滤器基于三值逻辑(ternary logic),允许把它们组装或成链,从而组成任意的复合过滤策略。过滤器很大程度上受到Linux的iptables启发。这里的所谓三值逻辑是说,过滤器的返回值只能是ACCEPT、DENY和NEUTRAL的其中一个。

  • 如果返回DENY,那么记录事件立即被抛弃,不再经过剩余过滤器;
  • 如果返回NEUTRAL,那么有序列表里的下一个过滤器会接着处理记录事件;
  • 如果返回ACCEPT,那么记录事件被立即处理,不再经过剩余过滤器。

过滤器被添加到Appender中,为Appender添加一个或多个过滤器后,可以用任意条件对日志进行过滤。Appender有多个过滤器时,按照配置顺序执行。

LevelFilter

级别过滤器,根据日志级别进行过滤。如果日志级别等于配置级别,过滤器会根据onMath 和 onMismatch接收或拒绝日志。有以下子节点:

  • level:设置过滤级别。
  • onMatch:用于配置符合过滤条件的操作。
  • onMismatch:用于配置不符合过滤条件的操作
<configuration> 
  <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"> 
    <filter class="ch.qos.logback.classic.filter.LevelFilter"> 
      <level>INFO</level> 
      <onMatch>ACCEPT</onMatch> 
      <onMismatch>DENY</onMismatch> 
    </filter> 
    <encoder> 
      <pattern> 
        %-4relative [%thread] %-5level %logger{30} - %msg%n 
      </pattern> 
    </encoder> 
  </appender> 
  <root level="DEBUG"> 
    <appender-ref ref="CONSOLE" /> 
  </root> 
</configuration>

ThresholdFilter

当日志级别等于或高于临界值时,过滤器返回NEUTRAL;当日志级别低于临界值时,日志会被拒绝。

<configuration> 
  <appender name="CONSOLE" 
    class="ch.qos.logback.core.ConsoleAppender"> 
    <!-- 过滤掉 TRACE 和 DEBUG 级别的日志--> 
    <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> 
      <level>INFO</level> 
    </filter> 
    <encoder> 
      <pattern> 
        %-4relative [%thread] %-5level %logger{30} - %msg%n 
      </pattern> 
    </encoder> 
  </appender> 
  <root level="DEBUG"> 
    <appender-ref ref="CONSOLE" /> 
  </root> 
</configuration>

EvaluatorFilter

求值过滤器,评估、鉴别日志是否符合指定条件。需要额外的两个JAR包,commons-compiler.jar和janino.jar。

  • evaluator:鉴别器,常用的鉴别器是JaninoEventEvaluato,也是默认的鉴别器,它以任意的java布尔值表达式作为求值条件,求值条件在配置文件解释过成功被动态编译,布尔值表达式返回true就表示符合过滤条件。evaluator有个子标签expression,用于配置求值条件。
  • onMatch:用于配置符合过滤条件的操作。
  • onMismatch:用于配置不符合过滤条件的操作
<configuration>
  <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
    <filter class="ch.qos.logback.core.filter.EvaluatorFilter">
      <evaluator> <!-- 默认为 ch.qos.logback.classic.boolex.JaninoEventEvaluator -->
        <expression>return message.contains("billing");</expression>
      </evaluator>
      <OnMatch>ACCEPT </OnMatch>
      <OnMismatch>DENY</OnMismatch>
    </filter>
    <encoder>
      <pattern>
        %-4relative [%thread] %-5level %logger - %msg%n
      </pattern>
    </encoder>
  </appender>

  <root level="INFO">
    <appender-ref ref="STDOUT" />
  </root>
</configuration>

Spring Boot下的日志归集

思路

  1. 需要有个日志的服务器,用于归集各个模块产生的日志信息
  2. 每个模块的日志除了输出到本地,还要同步输出到日志服务器
  3. 每个模块输出的日志格式应该是统一的
  4. 日志服务器至少要提供精确、准确的检索能力

最简方案:SocketAppender+ServerSocketReceiver

client端

<configuration scan="true" scanPeriod="60 seconds" debug="false">

    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <!-- 系统名称 通过启动参数 -Dapp.api.name="***" 指定 -->
    <property scope="context" name="appName" value="${app.api.name:-appName}"/>
    <!-- 模块名称 通过启动参数 -Dapp.api.module="***" 指定 -->
    <property scope="context" name="appModule" value="${app.api.module:-moduleName}"/>
    <!-- 版本 通过启动参数 -Dapp.api.version="***" 指定 -->
    <property scope="context" name="appVersion" value="${app.api.version:-v1}"/>
    <!-- 节点名称 通过启动参数 -Dapp.api.node="***" 指定 -->
    <property scope="context" name="appNode" value="${app.api.node:-node1}"/>
    <!-- 日志文件路径 通过启动参数 -Dapp.log.path="***" 指定 -->
    <property scope="context" name="logPath" value="${app.log.path:-/joinway}"/>
    <!-- 日志文件备份路径 通过启动参数 -Dapp.log.path="***" 指定 -->
    <property scope="context" name="backPath" value="${logPath}/backFiles"/>

    <property name="appName" value="${appName}-${appModule}-${appVersion}-${appNode}" />
    <contextName>${appName}</contextName>

    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%cn){blue} | %clr(%date{yyyy-MM-dd HH:mm:ss.SSS}){yellow} | %clr(%-5level){highlight} | %clr(%thread){faint} | %clr(%logger{64}:%line){magenta} | %clr(%msg%n){cyan}${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>

    <!-- Console 输出设置 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>UTF8</charset>
        </encoder>
    </appender>

    <appender name="SOCKET" class="ch.qos.logback.classic.net.SocketAppender">
        <remoteHost>192.168.3.166</remoteHost>
        <port>9898</port>
        <reconnectionDelay>10000</reconnectionDelay>
        <includeCallerData>true</includeCallerData>
    </appender>

    <logger name="org.springframework" level="INFO"/>

    <logger name="DemoContorller2" level="TRACE" addtivity="false">
        <appender-ref ref="SOCKET"/>
    </logger>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
    </root>
</configuration>

server端

<configuration scan="true" scanPeriod="60 seconds" debug="false">

    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <!-- 系统名称 通过启动参数 -Dapp.api.name="***" 指定 -->
    <property scope="context" name="appName" value="${app.api.name:-appName}"/>
    <!-- 模块名称 通过启动参数 -Dapp.api.module="***" 指定 -->
    <property scope="context" name="appModule" value="${app.api.module:-moduleName}"/>
    <!-- 版本 通过启动参数 -Dapp.api.version="***" 指定 -->
    <property scope="context" name="appVersion" value="${app.api.version:-v1}"/>
    <!-- 节点名称 通过启动参数 -Dapp.api.node="***" 指定 -->
    <property scope="context" name="appNode" value="${app.api.node:-node1}"/>
    <!-- 日志文件路径 通过启动参数 -Dapp.log.path="***" 指定 -->
    <property scope="context" name="logPath" value="${app.log.path:-/joinway}"/>
    <!-- 日志文件备份路径 通过启动参数 -Dapp.log.path="***" 指定 -->
    <property scope="context" name="backPath" value="${logPath}/backFiles"/>

    <property name="appName" value="${appName}-${appModule}-${appVersion}-${appNode}" />
    <contextName>${appName}</contextName>

    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%cn){blue} | %clr(%date{yyyy-MM-dd HH:mm:ss.SSS}){yellow} | %clr(%-5level){highlight} | %clr(%thread){faint} | %clr(%logger{64}:%line){magenta} | %clr(%msg%n){cyan}${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>

    <!-- Console 输出设置 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>UTF8</charset>
        </encoder>
    </appender>

    <logger name="org.springframework" level="INFO"/>
    <logger name="DemoContorller2" level="TRACE"/>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
    </root>

    <receiver class="ch.qos.logback.classic.net.server.ServerSocketReceiver">
        <port>9898</port>
    </receiver>
</configuration>


后续方案实现过程相对复杂,就不在这里详述,另外再找时间分享给大家

主流方案ETL:Elasticsearch+Logstash+Kibana

  • Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各样的日志,然后进行过滤分析,并将日志输出到Elasticsearch中。
  • Elasticsearch:日志分布式存储/搜索工具,原生支持集群功能,可以将指定时间的日志生成一个索引,加快日志查询和访问。
  • Kibana:可视化日志Web展示工具,对Elasticsearch中存储的日志进行展示,还可以生成炫丽的仪表盘。

进阶方案:

自定义Appender+kafka+hadoop

其他。。。。。。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容