吴海洋-腾讯IEG SRE应急响应实践.pdfVIP

腾讯IEGSRE应急响应实践

吴海洋

2025-04

吴海洋

腾讯IEG公共平台SRE负责人

腾讯IEG公共平台SRE负责人，高级工程师，2013年加入腾讯，先后

担任逆战、QQ飞车等多款重点端、手游运维负责人。目前专注游戏

平台、公共组件平台SRE支撑体系建设等相关工作。

目录/CONTENTS

1游戏应急响应的目标和痛点

2基于蓝鲸基座的应急响应方案建设

3执行应急响应的思考和经验

4总结和展望：故障的可控

游戏应急响应的

目标和痛点

腾讯游戏的特点

现状：

•研发团队：自研和代理

•游戏架构：模块多差异大，发行区域：国内和海外，全球发行

•支撑平台：BG内、BG外平台服务

•规模大：单游戏体量和整体体量

特点：

•上下游涉及服务、人员多（多组织，多角色）

•异构性非常强

•运营环境复杂

GOPS全球运维大会暨研运数智化技术峰会2025·深圳站

腾讯游戏应急响应的目标

告警

环节故障发现故障诊断故障恢复故障复盘

故障发生开始处理

告警时间响应时间定位时间操作时间

关键场景1min5min15min

其他场景5min15min30min

GOPS全球运维大会暨研运数智化技术峰会2025·深圳站

腾讯游戏应急响应的痛点

告警

环节故障发现故障诊断故障恢复故障复盘

故障发生开始处理

告警时间响应时间定位时间操作时间

目标1～5min5～15min15～30min

关键监控经验预案

游戏异构、场景全人员多、信息有效信息资源约束、互快速执行

痛点多、链路长、准乱、有依赖高效协同相影响、衍生

环境复杂、跨组故障

件平台….？？….？

GOPS全球运维大会暨研运数智化技术峰会2025·深圳站

为了应对故障，我们曾经做过的尝试

告警优化：

•基础设施：CPU、内存、磁盘、IO、网络…

•业务服务：调用量、成功率…

•用户体验：登录、下载、更新、支付、单局、卡顿…

•综合SLI/SL