邹晟：1-5-10故障治理体系：根因分析快速定位落地实践.pdf

1-5-10故障治理体系

根因分析快速定位落地实践

邹晟

去哪儿网-基础平台DevOps技术专家

公司职位

请替换

2017年加入Qunar,近期一直在做稳定性治理方面的事情，包括1-5-10工

您的照片具体系的建设和落地,其中包含根因分析、预案中心、预案演练等

故障治理1-5-10框架

目录根因分析产品设计与效果

根因分析架构设计与落地难点解决

未来规划

BizDevOps企业峰会·城市行-北京站

01故障治理1-5-10框架

故障治理1-5-10框架-背景

1.故障率居高不下

2.故障发现与定位慢

项目名称

3.故障处理超时率高

BizDevOps企业峰会·城市行-北京站

故障治理1-5-10框架-定义与度量

单一责任方数据呈现-责任方、受影响方各自呈现

单一故障率维度指标-故障率指标与MTBF、MTTR指标并重

结果指标与过程指标共同呈现-结果指标与过程指标分别呈现

1.故障率居高不下

2.故障发现与定位慢

项目名称

3.故障处理超时率高

BizDevOps企业峰会·城市行-北京站

故障治理框架-稳定性度量

故障治理1-5-10框架-定义与度量

1.故障率居高不下

2.故障发现与定位慢

项目名称

3.故障处理超时率高

BizDevOps企业峰会·城市行-北京站

故障治理1-5-10框架-实施策略与工具

根因分析定位

辅助业务同学达成故障期间5分钟定

位的目标

项目名称

BizDevOps企业峰会·城市行-北京站

故障治理1-5-10框架-经验总结

用户总是期望top1的结果是准确的，但根因分

析有一定概率问题，不可能100%准确，top3

ortop5有提示辅助作用就是有价值的

1分钟发现、10分钟恢复优先级5分钟定位

BizDevO