告警天天响，真出事的那条反而没人看

一、为什么告警越多，真问题越容易被漏掉

告警刚上线时，大家还会认真看每一条。时间一长，一天响几十次，值班的人先学会的是跳过。

跳过不是懒。人每天能认真处理的事情有限，响得越密，每一条分到的注意力越少。

大家嘴上不说，心里已经给告警分了三等：必须看、可以拖、直接忽略。真问题常常落在第二等里。

真正危险的是，漏掉的那条和平时那些看起来差不多。等到用户打电话来，才发现它已经响过。

举个例子：一家做线上课程的小公司，监控接了两套，值班表上排着几个人，告警全发在一个大群。某天晚上数据库连接数到顶，真正的那条消息夹在一长串提醒里，没人看见；第二天用户来退款，团队才发现它前一晚已经响过。

二、先分清哪些告警是给谁看的

同一条告警，给值班的人看和给老板看，要求不一样。值班的人要知道去哪台机器、看哪个指标；老板只要知道影响多大、多久能恢复。

把这两类混在一个群里，值班的人被无关的消息打断，老板也读不懂技术细节。

分组之后，每组只留自己那一类的告警。别为了省事，把全部消息都发到同一个大群。

先按收件人分组，再谈阈值。分不清给谁看的告警，多半可以直接删掉。

那家公司先把大群分成值班群和管理群，消息一下少了很多。

三、一条告警要带哪几样信息才算能用

一条能用的告警，至少要说清三件事：哪里出了问题、影响了谁、现在该做什么。

只写“服务异常”的告警等于没写。值班的人还要去翻日志、找机器，时间都花在找路上。

信息写全，值班的人才能自己判断，不用每次都去问发告警的人。

把排查的第一步写进告警内容，比如先看哪张表、先重启哪个进程。写不出这一步，说明这条告警还没想清楚。

漏掉的那条只写了“数据库异常”，没写影响谁、先做什么。

四、半夜响的那条，第二天谁来收尾

半夜被叫醒处理完，事情不算完。第二天要有人回头看：为什么会响、下次能不能早点发现。

没人收尾，同一个问题会反复叫醒同一个人。几次之后，值班的人开始把手机调静音。

收尾的记录不用长，但要有地方存。下一次翻出来，能省掉很多重复排查。

收尾不用开会。处理的人在群里留三句话：原因、改了什么、还差什么没做，就够了。

五、告警阈值定得太紧会怎样

阈值定得紧，是想早点发现问题。但太紧的代价是，正常的波动也会响。

比如业务量在早晚各有一个高峰，按平均值得出的阈值，到了高峰必然报警。这种告警看几次就知道是假的。

分时段看，就是把一天分成几段，各段用自己的正常范围，不拿晚上的安静去要求白天的忙。

阈值要跟着业务的节奏走。分时段看，或者按最近一段时间的正常范围看，比一个固定的数更可靠。

六、同一件事响三遍，先合并还是先关掉

一个数据库出问题，订单、支付、库存可能同时报警。三条告警说的是同一件事。

这时候先合并，把三条并成一条，写清影响范围。合并之后，值班的人看到的是一个完整的情况。

合并的规则写下来，谁负责合并、合并后原来的几条怎么处理，都提前定好。

合并不了的，再考虑关掉重复的那两条。关的时候要写清理由，下一次有人想加回来，先看这条理由。

那家公司当晚订单、支付、库存各响了一遍；并成一条之后，值班的人才知道是同一个数据库。

计划内的发布、迁移和扩容，提前设一段静音时间，别让正常操作也来叫人。

七、值班表怎么排才有人真的看

值班表不能只写名字和日期。要写清谁在什么时间看手机、出了问题先找谁、找不到人又找谁。

一个人连着值一周，到了后半夜一定疲。两个人轮换，比一个人硬扛更稳。

值班表提前排好，换班要当面交代，别只发一条消息就算交班。

值班的人要有权先做应急处理，比如先关掉一个入口、先换到备用服务。事事请示，等批下来，损失已经发生。

那家公司后来给了值班的人先关入口的权限，不用再等经理回消息。

八、告警响了没人处理，问题出在哪一步

先别急着怪人。看三件事：告警有没有送到对的人、收到的人有没有权限处理、处理完有没有人记录。

送到错的人，等于没送。没有权限，只能转给别人，时间就过去了。没有记录，下一次还会重来。

这三步里最容易被忽略的是权限。收到了消息却没有处理权限，和没收到差不多。

把这三步补齐，比再加一套告警系统更有用。

九、怎么判断一条告警该不该留

问三个问题：它响过之后，有没有人真的做过动作？不做动作会有什么后果？这个后果能不能接受？

三个问题里有一个答不上来，这条告警就该重新想。想不清楚的，先降成日报，不占值班的注意力。

每季度再看一遍这份名单，把没人负责的告警清掉。

留下来的告警，每一条都要有一个明确的人负责。负责人调走，要当场交给下一个人。

十、哪些告警应该直接找人，哪些只进日报

影响用户、影响收钱、影响数据安全的，直接找人。这类事拖一小时，代价看得见。

只是趋势变化、容量快到上限、某个次要任务失败的，进日报。第二天上班看，来得及处理。

日报也别堆成一份长表。只留变化和需要决定的事，其他的留在系统里可查。

分不清的时候，先按“用户会不会马上发现”来判断。用户会发现，就找人。

十一、每月花半天做一次告警清理

清理不用大动。把上个月响过的告警拉出来，按次数排一遍，看前几条是不是真的需要响。

次数最多、又没人处理的那几条，先合并或降级。清理一次，值班的人能少被打断很多次。

清理的时候叫上值班的人。谁被吵得最多，谁最清楚哪一条该先动。

清理的记录留着。下一次有人想加新告警，先看这份记录，避免把刚删掉的又加回来。

那家公司第一次清理，先关掉了响得最多、又一直没人处理的两条。

十二、从明天开始先做哪三件事

第一件，把告警按收件人分成两组，值班组和管理组，先分清楚谁看什么。

第二件，挑响得最多的三条，补上“哪里、影响谁、先做什么”这三句话。

第三件，定下值班的人有哪些应急权限，写下来，让下一个值班的人照着做。

做完这三件，再考虑买工具。顺序反了，工具只会把混乱放大。