张鹤-脱敏2024GOPS 全球运维大会(张鹤).pdf

基于1-5-10的业务稳定性治

理和故障应急实践

姓名：张鹤

个人简介

张鹤

哔哩哔哩/业务SRE负责人

2020年加入B站，负责哔哩哔哩业务稳定性

保障相关工作，深度参与多活，活动保障，

容量治理相关的建设，负责B站S赛、跨年晚

会、拜年纪等相关活动的基础架构保障工作

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

B站应急响应体系设计理念

应急响应中心建设

目录基于故障的数据运营

未来规划与展望

01B站应急响应体系设计理念

为什么我们要建设应急响应体系？

行业故障频发，引起高度重视

•行业故障频发，热搜不断

•B站也不例外，各种各样case不断

…

故障处理时效达不到预期

•故障处理时间长、应急协同混乱

•多次出现热搜类故障

•同样类型的故障多次出现

…

故障处置数据难以追溯、衡量

•相比去年稳定性做的好还是不好？缺乏量化数

据

•故障1-5-10数据怎么样、如何提高？

•故障召回率低，客服和技术脱节？

•...

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

稳定性保障面临的挑战

发现时间不稳定，耗时难以预测定界、定位困难

服务语言多样，监控指标不统一，关键监控覆盖不全、告警噪音多

链路复杂变更难以对齐、根因分析不完善、

缺乏可观测

0204

0103

故障诱因多样，入口多应急响应机制不健全、快恢能力薄弱

预案少、新鲜度低，应急手忙脚乱

代码变更、配置变更、定时策略、缓存过期、压测、突发活动

GOPS全球运维大会暨研运数智化技术峰会2024·上海站

B站应急响应体系发展历程

应急响应2.0时代

•引入事中通告，故障订阅能力

•建设SLO理念，基于SLO告警，群协同机制进行时

•被动响应•故障全生命周期管理

•故障数据运营

20222024

20192023