技术 · 开发实战
告警降噪:把十条重复的告警合并成一条
告警太多等于没有告警。值班的人先学会忽略,系统就失去了预警能力。
噪声从哪来
同一故障会触发多个维度的告警:主机、接口、依赖与业务指标同时报。
没有聚合,值班的人收到的是十条描述同一件事的消息。
聚合的三个维度
按时间窗聚合、按服务聚合、按根因聚合,三种方式解决不同层面的重复。
时间窗最直接,根因聚合最难,需要对依赖关系有清晰建模。
分级的实际作用
把告警分成需要立即处理与可以次日处理两类,值班压力会明显下降。
分级的依据要写在规则里,不能靠个人判断。规则统一,交接时才不会走样。
抑制与静默
维护窗口内的告警应被抑制,而不是被静默掉,两者在记录上并不相同。
静默会掩盖真实故障,抑制只是不通知。两者在记录里应当明确区分。
效果怎么衡量
看单位时间内的告警条数与处理率,两个指标一起看。只看条数容易忽略漏报。
条数降下来但漏报增加,说明降噪过度,需要回调。回调的幅度按漏报的影响来定。
本文由睿达孚资讯站编辑部整理撰写,观点仅供参考;转载请注明来源与链接。
读者留言
共 4 条 · 精选展示告警太多等于没有,这句话太扎心了。
抑制和静默的区别很重要,很多人混用。
条数加处理率一起看,这个方法合理。
分级依据写进规则,能减少扯皮。