程序日志由浅入深(Go语言描述)

程序中记录日志的首要目的:Troubleshooting。通过记录程序中对外部系统与模块的依赖调用、重要状态信息的变化、关键变量、关键逻辑等,显示基于时间轴的程序运行轨迹,显示业务是否正常、是否存在非预期执行,在出问题时方便还原现场,推断程序运行过程、理清问题的方向。
本文将讨论在实现日志功能过程中常见的一些问题,包括基础API、格式化、日志转发及可视化等方面,代码采用Go语言描述。

一、Basic

1、后台输出

package main

import (
  "fmt"
)

func main(){
  fmt.Println("------hello world-----")
}

2、There are no exceptions in Golang, only errors.
Go语言不支持传统的 try…catch…finally 这种异常,因为Go语言的设计者们认为,将异常与控制结构混在一起会很容易使得代码变得混乱。因为开发者很容易滥用异常,甚至一个小小的错误都抛出一个异常,替代方案是使用多值返回来返回错误。当然Go并不是全面否定异常的存在,或者用recover+panic语法实现,只是极力不鼓励多用异常。

package main

import (
    "log"
    "errors"
    "fmt"
)

func main() {
   /* local variable definition */
  ...

   /* function for division which return an error if divide by 0 */
   ret,err = div(a, b)
if err != nil {
 log.Fatal(err)
    }
    fmt.Println(ret)
}

3、写入日志文件:

package main

import (
  "log"
  "os"
)

func main(){
  f,err :=os.OpenFile("test.log",os.O_WRONLY|os.O_CREATE|os.O_APPEND,0644)
  if err !=nil{
    log.Fatal(err)
  }
  defer f.Close()
  log.SetOutput(f)
  log.Println("==========works==============")
}
YRMacBook-Pro:go-log yanrui$ more test.log
2017/05/24 21:46:25 ==========works==============

二、格式化

推荐日志工具库:logrus

$ go get github.com/Sirupsen/logrus

1、JSON format

package main

import (
  log "github.com/Sirupsen/logrus"
  "github.com/logmatic/logmatic-go"
)

func main() {
    // use JSONFormatter
    log.SetFormatter(&logmatic.JSONFormatter{})
    // log an event as usual with logrus
    log.WithFields(log.Fields{"string": "foo", "int": 1, "float": 1.1 }).Info("My first ssl event from golang")
}

日志输出样式:

{
  "@marker":["sourcecode","golang"],
  "date":"2017-05-24T15:27:40+08:00",
  "float":1.1,"int":1,"level":"info",
  "message":"My first ssl event from golang",
  "string":"foo"
}

三、附加上下文

通过logrus库可以加入一些上下文信息,例如:主机名称,程序名称或者会话参数等。

contextLogger := log.WithFields(log.Fields{
  "common": "XXX common content XXX",
  "other": "YYY special context YYY",
})

contextLogger.Info("AAAAAAAAAAAA")
contextLogger.Info("BBBBBBBBBBBB")

日志输出样式:

YRMacBook-Pro:go-log yanrui$ go run LogMatic.go
{"@marker":["sourcecode","golang"],"common":"XXX common content XXX","date":"2017-05-24T17:00:08+08:00","level":"info","message":"AAAAAAAAAAAA","other":"YYY special context YYY"}
{"@marker":["sourcecode","golang"],"common":"XXX common content XXX","date":"2017-05-24T17:00:08+08:00","level":"info","message":"BBBBBBBBBBBB","other":"YYY special context YYY"}
YRMacBook-Pro:go-log yanrui$

四、Hooks

我们还可以利用Hook机制实现日志功能扩展,例如Syslog hook,将输出的日志发送到指定的Syslog服务。

package main

import (
  log "github.com/sirupsen/logrus"
  "gopkg.in/gemnasium/logrus-airbrake-hook.v2" // the package is named "aibrake"
  logrus_syslog "github.com/sirupsen/logrus/hooks/syslog"
  "log/syslog"
)

func main(){
    hook, err := logrus_syslog.NewSyslogHook("udp", "59.37.0.1:514", syslog.LOG_INFO, "")
    if err != nil {
      log.Error("Unable to connect to local syslog daemon")
    } else {
      log.AddHook(hook)
    }
}

验证是否发送Syslog:

$ sudo tcpdump | grep 127.0.0.3
tcpdump: data link type PKTAP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on pktap, link-type PKTAP (Apple DLT_PKTAP), capture size 262144 bytes
18:51:05.663612 IP 192.168.199.15.58819 > 127.0.0.3.syslog: SYSLOG kernel.info, length: 314
18:51:05.663657 IP 192.168.199.15.58819 > 127.0.0.3.syslog: SYSLOG kernel.info, length: 314

五、可视化

在真实场景中日志数据体量非常庞大,日志存储只是第一步,更多的情况是需要查看特定指标或者能够快速检索信息,此时日志分析平台就发挥作用了。以logmatic为例,可以在它的官网注册https://logmatic.io/,免费体验。

在使用logmatic之前,需要下载它的hook支持:

$ go get github.com/logmatic/logmatic-go
func main() {
    // instantiate a new Logger with your Logmatic APIKey
    // 国内访问比较慢
    log.AddHook(logmatic.NewLogmaticHook("p53uTkOhSEqI3-116DynkQ"))

    // ..........
}

效果如下:


推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 131,300评论 18 138
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 166,823评论 24 703
  • 首席工程师揭秘:LinkedIn大数据后台是如何运作的1http://mp.weixin.qq.com/s?__b...
    葡萄喃喃呓语阅读 1,927评论 0 7
  • 一直以来,别人平常拥有的我几乎都没有,而我拥有的是更多遗憾……希望这次遗憾可以终结……
    过往残缺阅读 91评论 0 1
  • 自古以来,人类就讲究些个仪式,结婚生子有仪式,升学搬迁有仪式,开张毕业有仪式。各种形式的仪式,填充在日子里...
    火儿也可以是美嬌娘阅读 247评论 0 1
  • NSCache 基本上就是一个会自动移除对象来释放内存的 NSMutableDictionary。无需响应内存警告...
    SpursGo阅读 176评论 0 0
  • 曾经看过这样一句话:这个世上没有偶然,有的只是必然。很多事情都会有前因后果,我一直深信不疑,而这一点在很多时候都能...
    小小zy阅读 285评论 2 3