Go:基于Context API实现分布式请求日志记录

【译文】原文地址
如今随着微服务架构的普及,它也成为构建服务端应用的首选方式。过去记录日志只需要将日志类注入主类里面就这么简单,请求跟踪可以通过在请求过程中产生一个唯一id并添加到日志里面即可。在微服务架构当中,还是可以使用这种方法。然而,这种方式会导致在不同的微服务中日志的不连贯。本文使用Go给出一个简单的HTTP pipeline,并在所有的服务中都共享请求id。

要实现系统级的日志连贯,我们在微服务中必须共享标志符。在HTTP APIs场景下,可以通过请求头来传输标志符。这种实现方式,我们无需修改请求body体或请求参数,这些都是包含业务数据的-可以屏蔽业务逻辑。为了将标志符放在请求头,需要在与其他微服务通信时,在代码任意位置都能访问到该标志符。

context

在Golang中,在不同方法中传输上下文相关的数据,Context API是推荐的方式。上下文相关数据指的是任何不包含主业务逻辑中的数据。例如,文章数目是主业务逻辑相关的,而调用者IP地址是不相关的(依赖业务场景)。上下文(context)是不可变结构体,可以通过克隆当前上下文key-value键值对来扩展并创建一个新的上下文。每个http.Request都带有上下文信息,并可以扩张更多数据信息到上下文中。

任何发起API请求的方法都需要传入context上下文信息。通常,context是函数的第一个参数,并命名为ctx,如下所示:

func DoCall(ctx context.Context, url string) error {
  ...
}

HTTP pipeline

为了将请求id存在上下文中,我们创建一个HTTP handler来接收所有请求。这在Golang中很简单,如下所示。UseRequestId函数捕获来自HTTP请求头ReqIdHeaderName的请求id,并将其存入context上下文中。如果没有请求id,我们创建一个新的请求id。这个处理过程会在每个请求到来时发生。

func UseRequestId(next http.HandlerFunc) http.HandlerFunc {
   fn := func(w http.ResponseWriter, r *http.Request) {
      var reqId string
      if reqId = r.Header.Get(ReqIdHeaderName); reqId == "" {
         // first occurrence
         reqId = uuid.New().String()
      }
      // clone current context and append request-id
      ctx := r.Context()
      ctx = context.WithValue(ctx, ReqIdKey, reqId)

      next.ServeHTTP(w, r.WithContext(ctx))
   }

   return fn
}

要拿到请求id,我们可以创建两个简单的函数。这些函数不是必要的,但是可以使访问当前请求id更简单。

func GetReqIdReq(r *http.Request) string {
   return GetReqIdCtx(r.Context())
}

func GetReqIdCtx(ctx context.Context) string {
   reqId := ctx.Value(ReqIdKey).(string)
   return reqId
}

使用这个中间件,我们只要将实际的处理函数封装下即可:

http.HandleFunc("/users", UseRequestId(handler.GetUsers))

现在我们可以获取到请求id,并可以将它添加到我们服务发起的任何请求头当中去。

func DoCall(ctx context.Context, url string) error {
    ...
    reqId := httpcontext.GetReqIdCtx(ctx)
    if reqId != "" {
       req.Header.Add(httpcontext.ReqIdHeaderName, reqId)
    }
}

与其他微服务的每个HTTP通信,都将包含请求id。只要其他微服务也实现了UseRequestId函数,就可以自动拿到上下文当中的请求id并重复使用。

logger

最后需要说下logger。对于日志的记录,我们使用logrus模块,当然你也可以使用其他日志模块。Logrus可以添加日志属性。属性是key-value键值对,用于在日志中提供额外信息。

我们在创建一个HTTP中间件,将logger添加到请求上下文中去。该中间件检查请求上下文中是否有请求id,并将请求id添加到logger的属性当中。然后将logger附加到请求上下文上。

func UseLogger(next http.HandlerFunc) http.HandlerFunc {
   fn := func(w http.ResponseWriter, r *http.Request) {
      ctx := r.Context()
      if reqId := GetReqIdCtx(ctx); reqId == nil {
         // panics
         logrus.Fatal("No request id associated with request")
      } else {
         log := logrus.WithField(httpcontext.ReqIdKey, reqId)
         ctx = context.WithValue(ctx, LoggerKey, log)
      }

      next.ServeHTTP(w, r.WithContext(ctx))
   }

   return fn
}

同样创建两个函数来获取上下文中的logger对象。

func GetLogReq(r *http.Request) *logrus.Entry {
   return GetLogCtx(r.Context())
}

func GetLogCtx(ctx context.Context) *logrus.Entry {
   log := ctx.Value(LoggerKey)

   if log == nil {
      logrus.Fatal("Logger is missing in the context") // panics
   }

   return log.(*logrus.Entry)
}

UseLogger中间件必须在UseRequestId中间件后面,因为要先捕获请求id。新的HTTP流水线变为:

http.HandleFunc("/users", UseRequestId(UseLogger(handler.GetUsers))
harbour.rock微服务架构图,所有的请求都可以跟踪

总结

本文提出了一种分布式日志策略,它支持在不同的微服务之间跟踪请求。每个传入的请求都可以跨各个服务的边界进行跟踪。

我们在harbour.rocks中使用完全相同的日志策略,可以访问gitbub地址

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容