AIOps对监控报警架构的挑战.pdf

AIOps对监控报警架构的挑战 • 背景介绍 • 报警系统业务模型 • 异常判断⼦系统 • 事件管理⼦系统 • 通告发送⼦系统 • 总结 百度Noah报警系统 报警系统 故障发生 发现 通告 止损 定位 恢复 总结 监控系统 支撑多种上层业务 面临巨大架构挑战 • 内部监控平台 • 数据量：五千万数据点/秒 • 公有云监控服务BCM • 报警配置：百万级别 • 私有云运维监控产品NoahEE • 报警事件量：千万/每天 • 百度AIOps智能运维产品 • 报警时效性：秒级 使命 ：精准告警 pv 遇到的问题： 100 1. 四则运算无法满足业务所有需求 （准确率50%） 2. 核心告警经常被遗漏，故障不能及时发现和处理 3. 机房故障等原因会造成报警风暴，淹没核心告警 W 1 1 1 HYHQW 真实的需求： 1. 升级异常判断算法，提高准确率 PHVVDJH1 PHVVDJH3 2. 报警分级/报警认领/逐级通告，防止告警遗漏 PHVVDJH2 3. 报警合并，抑制报警风暴 ಸ ᦄ ٖ ਻ 需求1 ：落地AIOps算法的挑战 场景：PV流量指标的突升突降检测 离线验证 ① − () Case回溯 − = ~(0,1) () 其中f 依赖根据历史数据训练得到的模型 ④ 发布上线 月级别 工程实现 ② AIOps算法落地难点： • 算法不固定，不断迭代 • 强依赖模型，模型变更频繁 QA测试 ③ • 算法资源消耗千差万别 需求2 ：报警管理的挑战 如何能提供一个标准的报警模型，应对繁琐的需求？ 需求3 ：报警⻛暴的挑战 如何将运维工程师从报警风暴中解救出来？ • 背景介绍 • 报警系统业务模型 • 异常判断⼦系统 • 事件管理⼦系统 • 通告发送⼦系统 • 总结 报警系统业务模型 pv හ ഝ ᒒ ਻ଧහഝ(GD WD) 100