一次服务重构上线后的反思

背景

我们的一个服务模块使用websocket技术,通过长链接来协同广播用户的操作行为,但是服务职责不单一,边界划分不清晰,承载了很多职责之外的业务,所以决定对服务进行彻底重构,差不多是重写。

经过一个多月的努力,服务重构完成,包括架构、集群方式调整,数据存储、操作模型设计等,经过严格测试后上线,虽然核心业务可用,但还是出现很多本不该出现的问题,现总结一下,权当做最近一段时间工作的总结,和对问题的反思,以后的工作中要引以为戒。

一、不要忽视简单的业务逻辑、代码

无论业务多简单,都不要小觑它,必须要有单元测试,且要尽量覆盖到每一个分支、每一行代码,据说行业中行覆盖率达到60%以上,就已经很好了,最好的是68%。

删除确认无用的代码,问题往往出现在这些不经意的地方,可有可无的代码不仅给业务的理解带来困难,给维护者增加维护成本,甚至影响整个代码的质量。因为你感觉这些代码不重要,从而意识上就不会过多的关注它,结果往往就是因为这些代码造成系统难用,或者不可用,影响整个服务。

二、重视偶发的、不起眼的exception

对于偶发的错误,也要引起足够重视,刨根问底,找到根本原因并解决它。否则,一旦上线,就会放大这些问题,造成整个服务不可用。有时只要在平时开发、测试的过程中稍稍关注一下发现的问题,就能很快的解决它。

这次重构后,在自测的过程中,偶发出现一个序列化错误,简单看了一下错误抛出的地方,是调用第三方服务的,所以就没有放在心上,当时就感觉是第三方服务可能偶尔出现的返回数据格式问题,另外第三方服务也没有修改,一直在线上稳定运行,所以就没有过多的关注。上线后,该错误频繁抛出,就进行了回滚,经查证原因是在解析第三方服务返回的数据时候,一个符号写错了,造成序列化失败,如果在开发、自测的过程中对这个问题关注一下,根本就不会把它带到线上,也不会造成服务回滚,浪费了很多时间与精力。

三、碰到的疑问要立即验证确认

平时在开发、自测的过程中,会碰到一些自己不确定的地方,无论是业务,还是技术,都要及时确认验证,不要想着随后有时间了再说,一旦有了这个想法,即便以后有时间了,你也不会去处理,这也许就是拖延症吧,那么问题随后就会进一步放大,导致服务不可用。

四、多关注测试日志

服务提测后,多数RD会认为此时重点在QA,而自己相对来说就会轻松一些(*^__^*) ,实际上此时RD也确实是比开发时的时候时间多一点。但是,如果你的想法是现在终于有时间来放松一下了,聊聊天、刷刷微信、微博,看看新闻啥的,等着QA来告诉你问题,那就大错特错了,千万不要浪费此时的空闲时间。

此时,如果QA问题不多、或者没有汇报问题的时候,RD的时间还是比较空余的,此时对RD来说是很好的时机,因为现在问题不多,没人打扰,才能够真正的静下心来好好想一想,回顾一下还有没有什么问题自己没有注意到;一些棘手的问题当时考虑的是否全面,是否有遗漏;一些逻辑是否能够更加严谨等。站在一个更高的层面看看是否还有能够优化、完善的地方,多看看测试日志,利用好这段时间,能够发现并解决很多问题,不要等到上线后出问题让自己后悔不已。回过头来看,上线的问题,其实测试日志中都出现过,上线前有人关注一下,就不会导致上线后问题的发生。毕竟QA是对功能进行测试,很多不明显的异常他们是不知道的,QA不反馈,不代表没有问题,QA也会有遗漏,也不能察觉到所有的错误,所以在QA测试过程中,RD也要多测试、多关心日志,多思考,将问题杀死在摇篮之中。

本次上线前,有2天时间,QA在进行整体的回归测试,而RD都在放松、浪费自己的时间,没有一人去看测试日志,结果上线后,一堆错误日志,导致回滚,下来再看,这些错误在测试日志中早已经存在,如果2天内多多关注测试日志,就不会将错误带到线上,造成上线失败。

五、不要抱任何侥幸心理

对于任何问题,都不要抱有侥幸心理,说可能是环境的差异才导致的,如果确实是环境问题导致的,也要拿出确实可信的理由,不要认为现在的问题上到线上就没事了,一定要刨根问底,找到根源,如果确实是环境的问题,要看看线上环境有没有该问题,该问题是如何发生的等。通常情况下,你感觉有问题的地方,也确实是有问题,无论什么环境。

总得来说,这次重构学会了很多东西,也让自己对事物、对人的看法与以往有了很大不同,无论开始你认为多么复杂的事情,只要一步步认真的去思考、去动手,都会慢慢的明朗起来,最终解决它。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容