NETTY对象池踩坑

        NETTY作为优秀的NIO通讯框架,深受大家喜爱,在我们的发版工具项目启动时,便采用其作为通讯框架,但是使用过程中却踩了一个坑。

踩坑分析报告


项目简介:

在发版工具项目中,由于发版过程会涉及不同的发版环境,对于一次请求,对应的服务提供方IP需根据此次请求消息的附加信息确定,同时考虑到多次请求建链的消耗过程,选择通讯方式为长连接;而考虑到连接的管理和并发控制问题,所以加入连接池。对于NETTY通讯框架,本身已提供连接池,可通过数行代码完成连接池定制过程,故选择NETTY的SimpleChannelPool连接池,同时使用AbstractChannelPoolMap<InetSocketAddress,SimpleChannelPool>管理对应不同IP地址的连接池。

异常场景:

连接池的使用过程为:根据请求数据传入的IP信息,从AbstractChannelPoolMap中选定对应的连接池,进行后续通讯过程。有一次,系统启动后,异常场景出现了,传入的IP为“36.0.12.112”,但是从MAP中通过连接池获取连接时,显示连接IP为“36.0.12.114”!!!

异常场景分析:

首先,从连接池初始化过程看起,初始化代码如下:

图一 连接池初始化过程

该初始化过程发生在此地址对应的第一笔交易时,

图二 根据交易信息组装地址,获取连接池
图三 map内部代码实现

如此诡异的问题,“并发问题”首先作为了我们的首要嫌疑犯。

        首先进行场景的补全和确认过程,测试环境的日志还在,为我们保留了完整的“犯罪”现场。从代码看,业务代码中存在同步调用和异步调用两个方法,但代码都基本类似,使用过程一般调用同步方法,即使用图一的连接池创建过程。从日志来看,在进程启动后,第一批交易发起过程即出现了该问题,一笔请求对应发送到五个不同的IP地址,则问题应该发生在连接池创建过程或者获取过程中,但是如图一所示,已经使用同步代码块进行控制,虽然此同步代码块作用不详(此处有伏笔),创建过程由不同线程创建不同的连接池,应该不会出现问题,难道MAP存在并发问题?然后就开始越走越远,甚至怀疑人生。。。。

        此时,有位同事大神说,已在本地复现,瞬间感觉要看到了光明,但瞬间又熄灭了。能复现问题的测试代码是在图一的基础上去掉了同步代码块,那看来同步代码块还是有作用的,但这并不是问题场景呀。放佛又陷入了无法解决之坑,这会儿,见证了诡异现象的老师忽然灵光一闪,出现异常场景的时候,跟平时流程有所出入,调用的方法不是同步方法,而是异步方法,而异步方法中正好没加入同步代码块控制。

图四 异常代码调用

        终于事件大白啦,可见混乱中的场景复现是多么的重要。到此,基本可以看到坑的面貌啦,接下来就是详细的分析过程了。

        如图四所示,连接池在初始化过程中需要传入第一个参数为bootstrap,由于对应IP不同,所以需要调用bootstrap.remoteAddress(paramK)进行赋值,重点来了,bootsrap实例是作为该类的成员变量存在的,但是bootstrap本身并不是线程安全的。

图五 bootstrap初始化
图六 赋值过程

        在并发情况下,该赋值过程会出现问题,导致MAP中KEY值的IP地址与VALUE中连接池真正的地址信息不符,所以会出现根据地址A拿到的连接却指向地址B的诡异现象。


异常场景分析总结:

一次踩坑的排查终于结束啦,曲曲折折,不过为以后问题排查点出了很多注意的事项。

一:一定一定一定要最大限度了解异常场景,不要想当然;

二:对测试环境出现问题保持敏感,并发问题一般比较诡异,很多问题在你放过后可能后续表现都正常,但是它仍然还在隐患中,可能上线后就暴露出来了,所以不要放过测试环境的诡异问题。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容