生产环境出现事故,开发和运维都有责任,到底该谁背锅

发生一档子事情,公司技术团队之中有两个部门,一个开发一个运维,开发负责公司项目软件项目实现,运维负责项目运行生产环境服务器与数据的管理与维护。 前两天生产环境发生一起故障,项目依赖的redis服务器由于内存不足而出现写入故障,有一批用户丢失了一小时的数据, 公司发出批评通告, 运维全责,运维部门涉事相关员工与领导统统被罚。

为什么运维被罚,因为服务器内存不足会报警,向负责服务器的运维人员发出警告短信,运维人员收到警告后需要即使处理。 而这次事故服务器发出的警告不凑巧的被运维忽略,于是事故发生, 究其原因是因为忽略警告,因此被罚。

这看起来似乎在情理之中,被罚是理所应当,这是运维马虎大意造成的恶果。可是不知道大家有没有觉得奇怪,为什么Redis无法写入会造成用户数据丢失,Redis只是一个缓存工具,理论上缓存数据丢失可以通过磁盘持久存储数据恢复。有的同学推测可能缓存中的数据没有同步至磁盘导致问题,事实上这次事故并非同步数据失败引起,甚至根本没有缓存数据同步至持久存储一说,因为项目的开发人员直接把Redis当成了持久存储的数据库,而没有使用MySql之类的真正持久存储数据库。是不是很奇怪,居然有人把内存数据库当真正的数据库使用,虽然Redis提供这个功能。这就是导致问题的根本原因,持久存储并非Redis擅长,强行使用不但败家,而且危险,用户数据增长内存也要跟着涨,一旦跟不上Redis崩溃,程序故障,线上业务直接受到影响。

现在看起来,这起事故的责任开发人员也应该承担部分,技术使用不当是导致问题的根源。可是我说了不算,公司的领导不吃这套, 毕竟触发这起事故的直接原因是运维忽略告警照成的,那这个责任没有理由推脱给别人。

通常在业务上犯错会被追究责任,比如说这次事故运维被罚,而技术上犯的错误却不会, 因为技术上的错误不容易被明确定义,比如说问开发人员们为什么要将Redis当成数据库,他们会有充足的理由,比如让程序跑的更快,使用Redis的确能让程序跑的更快,而且是必然。可使用Redis当数据库也存在一系列问题,比如不稳定,容易丢失数据等,这起事故便是证明,可这不是必然发生的,MySql也会丢失数据,关键是要看如何避免,这便是开发人员使用Redis的充足理由,同时也不会被认为是在范错误,他们是为了让程序获得更好的性能,这应该受到奖励而不是处罚,可实际上使用Redis当数据库就是在犯技术上的错误,就像你开个跑车去跟越野车去山路上跑比赛,你说你开跑车是为了跑赢,可却随时会有车毁人亡的危险, 因为跑车不适合开山路,Redis也同样不适合做数据库。

现在很多程序员对于技术的选择并不以解决问题为目的,有时候他们会为了使用技术而选择技术,就好比Redis,因为很多大公司都在使用,所以他们也非要在自己的项目中用一用,不然怎么跟的上技术的步伐。他们把Redis研究的很精通,甚至连底层的C语言实现都会去研究,这是好事,可在项目中盲目使用就不对了,恨不得把所有存储数据的地方都用Redis,至于适合不适合,他们不考虑。

然后随着项目的进展,使用Redis当数据库的问题渐渐暴露,他们意识到这方面Redis的确不如MySql,然后他们后悔了,可这个时候技术架构已经定型,要换成MySql需要花费极大的代价,如果项目已经上线则还要承担风险,这种伤筋动骨的修改容易产生严重的bug,要保证既不影响进度又不改出bug是一项异常艰难的任务,因次开发人员们没有勇气迈出这一步去优化。

甚至于对于那些全新启动但是沿用旧框架的项目他们也没有动力与勇气去改变,我常常听他们说这样一句话:旧的架构已经被证明是可用和稳定的,那么我们就没有理由去改,如果新项目采用新架构却没有办法应付业务, 出了问题谁负责。总而言之一句话,他们害怕改变害怕走出舒适区。

而那些级别高一点的领导却完全不关注技术对项目的影响, 即使项目部门的领导也不关注,在他们眼里业务是首当其冲,技术是细枝末节,他们对技术的要求是别拖项目的进度,生产环境别出严重的bug,如果出了那就以处罚的方式让事故责任人牢记在心避免再犯,这便是他们应对技术问题唯一的措施。然后还总爱大言炎炎的张嘴流程优化闭嘴责任态度,却从来不会深入技术部门去发现问题去督促改进,他们觉得这是技术主管负责的事情,这没错, 可要在技术主管靠谱的前提下,如果不靠谱那么就容易发生悲剧,比如说这次事故。 而现在通常很多公司技术部门主管的工作更偏向于是督促员工完成需求保证进度的包工头,至于技术选型和实现统统都要给进度让路,主动改进技术问题,不存在的。

我就是觉得公司对于这件事情处理不公平才说这么多,那些不懂技术的人只从问题的表明定义责任,而不是去从根本上解决问题,当然,他们的确不可能从根本上去解决问题, 因为他们根本没发现问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容