基于Spring Boot + Dubbo的全链路日志追踪(一)

一、 概要

当前公司后端整体架构为:Spring Boot + Dubbo。由于早期项目进度等原因,对日志这块没有统一的规范,基本上是每个项目自己管自己的日志。这也对后面的问题排查带来了很大的困难,特别是那些需要同时或者多级调用Dubbo的服务场景,排查起来更加的困难。

现在需要实现从请求开始,到请求结束的全程日志跟踪。需求很简单,实现思路也不难,只需要全局添加一个traceId即可。

当然只有日志的记录是不够的,还要有日志的统一存储和查询。

二、 思路

2.1 日志采集与存储

初步选择的方案是:阿里云*日志服务。可免落地,直接存储。日志服务支持Appender直接发送。

替代方案:基于Logback appender + 消息队列 + ELK来实现。不过,这样的话,成本并不一定会比阿里云服务低。

2.2 当前项目改造

2.2.1 API接口

当前项目返回数据格式:

{
    "code": 200,
    "data": "Hello world",
    "msg": "ok"
}

改造后,所有HTTP API响应体中增加traceId字段:

{
    "code": 200,
    "data": "Hello world",
    "msg": "ok",
    "traceId": "bd41aed8b2da4895a9d2b43d1ef12595"
}

2.2.2 Dubbo

对于服务调用方:每次调用服务时,都需要向服务提供方传递traceId

对于服务提供方:每次服务响应时,都需要从服务调用方获取traceId,并将该traceId传递下去,直至该响应结束。

2.2.3 日志配置

需对当前日志格式及配置进行统一。

2.3 落地思路

2.3.1 API接口

项目内部使用org.slf4j.MDC传递traceId

使用拦截器完成traceId的设置与清除。请求到来时,生成并设置traceId;请求结束时,清除traceId

拦截器中无法修改HTTP响应体。可通过ControllerAdvice统一向Response Body中写入traceId

2.3.2 Dubbo

使用Dubbo提供的org.apache.dubbo.rpc.Filter来完成traceId的设置与获取。

三、 备注

Dubbo日志问题

Dubbo服务的调用,并不一定是HTTP Request引起的,所以会存在一些没有traceId的调用情况。这块需要单独的处理。

可对traceId的命名进行规范。

如:

  • req:xxa:xxx 表示 前端请求,xxa模块,序号标识xxx
  • tim:xxc:xxx 表示 定时器触发,xxc模块,序号标识xxx

命名规范需要根据具体业务来编写。示例仅供参考~

并且可对返回的数据进行适当的处理,使其避免暴露关键信息,同时还能方便问题的定位与处理。当然这个度还是需要根据具体业务和需求来把握。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容

  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 4,907评论 0 6
  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 4,817评论 1 13
  • 序言 背景概述 公司目前 Java 项目提供服务都是基于 Dubbo 框架的,而且 Dubbo 框架已经成为大部分...
    java菜阅读 983评论 0 3
  • 分布式链路追踪(Distributed Tracing),也叫 分布式链路跟踪,分布式跟踪,分布式追踪 等等。 本...
    Daniel_adu阅读 33,596评论 0 20
  • 难得放了两天假,昨天去市区逛了逛,还例行采购了一次。今天是清明节,吃完早饭发现出门肯定会很堵,就放弃了出远门的想法...
    李壹壹阅读 216评论 5 0