这样查看告警邮件要慢一点……

这样查看告警邮件要慢一点……

当然不是指像上图那样一边开着车听着歌,握着男/女朋友的手,一边查看告警邮件的时候要慢一点。原因大家都懂的,我就不拆了(因为你们都是单身狗啊!单身狗啊!单身狗啊!)。这里要说的是,如果你们选择了用 OneAlert 来接收告警邮件,查看的时候可一定要慢一点,慢一点,再慢一点啊!为啥呢?

在你还没有用 OneAlert 的时候……

我们责任心爆棚的运维菌们,为了让用户有更好的体验,为了系统不挂,为了不被领导骂,为了升职加薪,为了迎娶白富美……通常会使用各种各样的监控工具来对系统性能进行全方位的监控,比如功能强大又免费的 NagiosZabbix。你想用它们来监测 CPU 使用率,磁盘利用率,网卡吞吐量等等。你设定好了阈值,想让它们在故障发生时给你发封邮件通知一下。然后,噩梦开始了……

镜头一:初入职场的运维菌小张负责维护公司里的一台服务器。小张对她呵护备至,第一天就配置好了 Nagios,希望能第一时间知道她哪不舒服了。某天半夜1点,她终于宕机了。告警邮件如约而至,然而早上7点起床睁眼抓起手机的小张却当场石化了。新邮件通知设置成了静音的他一共收到了:1台服务器x1条进程x1次/分钟发出告警x6小时x60分钟=360封邮件……小张草草扫了一眼,内容实在懒得看,快速点击全部勾选,一页一页地直接全部删除掉。然而这其中还夹杂着几封关于磁盘已写满的告警以及老板明天早上请喝茶的邮件……

镜头二:后来小张开始负责10台服务器的维护,每台服务器100条进程。某天机房停电了……看到第一封宕机告警邮件后小张立即打开 Nagios,关闭告警。然而接下来的十几分钟他并不孤单,因为他一共收到了:10台服务器x100条进程x1次/分钟发出告警x1分钟=1000封邮件……手机、电脑「bibibi」响个不停,邮件一封封地往邮箱里蹿。十几分钟后终于「bibi」完了,世界终于安静了下来。邮件量太大,小张还是不看内容,直接快速点击全部勾选,一页一页不停地删除邮件……然而这其中仍旧夹杂着几封其他类型的告警以及重要的工作邮件。

镜头三:现在的小张手下已经有100台服务器了,每台服务器还是100条进程。某天小张正在开会的时候,机房又停电了……收邮件的过程太过残酷,就不详述了。不过这次小张吸取了之前的教训,决定翻翻看里面有没有其他告警或者工作邮件。翻了几十封后,小张呵呵哒了,决定还是直接一页一页全都删了吧。其他的告警通知和重要的工作邮件也只好一块拜拜了。

小张很苦恼,发现自己绝大部分精力都耗费在了这些告警噪音上不说,好多正事儿还都被耽误了。但又不能因噎废食,完全把告警系统停用掉。小张该怎么办?

发现问题了吗?

监控工具自带的告警系统其实并不实用,它只会按照你之前设置好的规则机械性地持续发出告警,不会考虑告警信息的重复性、关联性,更不会考虑你当前是否方便查收邮件,是不是需要通知其他同事。一系列过多,重复,冗余的告警通知形成的告警风暴,不仅会使我们的运维人员产生告警疲劳,疲于应对成百上千封邮件,只想赶快把它们都删除掉。还会因此漏掉一些重要的告警,导致故障不能及时解决。日常工作也会受到影响。

如果你用了 OneAlert!

如果小张使用了「OneAlert 告警平台」来对监控工具发出的告警进行处理,将会是怎样的呢?

因为 OneAlert 会按照时间序列对告警进行压缩,初入职场的小张会收到:1台服务器x1条进程x1次/分钟发出告警x6小时x60分钟x1分钟=1封告警邮件;

因为 OneAlert 会按照关联关系对告警进行压缩,后来的小张会收到:10台服务器x100条进程x1次/分钟发出告警x1分钟=10封邮件;

因为 OneAlert 会按照时间序列和关联关系对告警进行压缩,现在的小张会收到:100台服务器x100条进程x1次/分钟发出告警x N分钟x1分钟=100封邮件。

看到没,邮件量瞬间就少了99%!留下来的都是经过压缩合并后的告警信息,每一条都很重要,所以查看的时候一定要慢一点哦~

(机器学习&人工智能压缩模式正在开发 ing,敬请期待~)

但是小张又有疑问了:每个故障你只通知我一次,感觉很不靠谱呀,万一我又刚好错过了那一次,岂不是完蛋了?!

没错,监控工具自带的告警系统通常只支持邮件通知,顶多再加个短信通知。但是 OneAlert 不同!邮件通知后没反应?没关系,两分钟后再通过微信推一次。还是没反应?网断了?没关系,两分钟后通过短信再推一次。还没反应?没关系,两分钟后再打电话通知一下。还是没反应?那你已经关机或是睡着了吧,这个时候恐怕再发100封邮件也叫不醒你了。。况且为了能在第一时间解决故障,我们也来不及等到你醒了再去处理了。赶紧推送给小李吧!四种方式挨个儿通知一遍,小李也睡了?接着推送给小王。如此升级,直到团队内有人响应为止。

通过多种方式的可靠通知以及告警信息的有序分发,及时响应故障的重担不再是完全压在一个人身上了,能够确保整个团队能在第一时间内采取应对措施。现在你还认为监控工具一封又一封没完没了的邮件是必要的吗?

所以,用了 OneAlert 后,你收到的都将会是重要的,不重复的,需要帮助队友解决的告警邮件。查看的时候一定不要草草了事,匆匆删除,要慢一点,仔细看好了再处理呀!~

(PS:一想到这么实用又免费的产品还有好多运维菌都还没开始用呢,就好捉急啊!好想问问叶璇和郭富城他们的降头是在哪团购的,我也好想买一个下给屏幕前的各位小张,让你们一看到这儿就忍不住要立即猛戳免费使用体验一把啊!)

免费使用←请猛戳它!

免费使用←请猛戳它!

免费使用←请猛戳它!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容