全业务流程生产压测与监控实践.pdf

面向业务流程的

全链路生产压测和监控实践

QCon2024全球软件开发北京大会

中国人寿寿险研发中心/熊军军

目录

1、系统稳定性面临的主要风险与对策

2、面向业务流程的全链路生产压测

3、面向业务流程的全链路生产监控

QCon2024全球软件开发北京大会

4、持续提升稳定性保障能力

1、系统稳定性面临的主要风险

系统稳定性面临三类主要风险。实践表明，这三类风险将长期交迭，任何一类风险都可能引发生产事件，我们需要全面考虑，常抓不懈。

功能风险性能风险高不确定性风险

业务影响业务断操作慢客户怨

QCon2024全球软件开发北京大会

【单体架构】【分布式/微服务架构】【云原生架构】

高不确定性风险架构原因

牵一发，动全身链路复杂，容量难控我不懂云，云不知我

功能风险

性能风险

2016-20202020-20232022至今

ü架构升级ü全链路生产压测ü混沌工程故障演练

主要对策

ü灰度发布/蓝绿部署ü全链路生产监控ü全链路生产监控

ü覆盖率检查/自动化测试ü熔断/限流/降级ü灾备/双活/自愈

高不确定性风险：发生和处置过程均存在较大

不确定性的风险。如变更失误、硬件故障等。

2、行业稳定性保障能力框架

行业稳定性保障能力框架，为应对上述风险提供了体系化、标准化的指引。企业可在此基础上建立符合自身的稳定性运营体系。

目标

组织

符合企业特点的

QCon2024全球软件开发北京大会

制度/流程

工具

中国信通院《系统稳定性保障能力标准框架》

不仅要注重工具建设，更要注重目标、组织及配套制度/流程/标准建设

3、中国人寿重点业务稳定性运营思路

业务目标：保障10+类重点业务全流程稳定性

面向业务的面向业务的

容量规划生产压测技术目标：防范性能风险和高不确定性风险

应急预案故障演练

组织保障：独立于各产品团队的质量中心与技术管理团队牵头

制度标准：《在线压测工作指引》、《故障演练工作指引》

面向业务的流程机制：建立面向业务流程的稳定性保障闭环

告警QCon2024全球软件开发北京大