潘杰-保卫波特姆第二季-稳定性工程能力实践.pdfVIP

保卫波特姆第二季

稳定性工程实践

潘杰运行质量管理经理

背景概述

运营实践

后续规划

背景概述

快速迭代系统稳定性面临挑战

如何建立应用风险识别模型如何高仿真的模拟故障如何构建技术风险管理体系

Ø部署架构复杂Ø“人工断网、手杀进程”Ø风险管理文化

Ø业务链路长无法应对大量场景Ø配套人员组织

Ø调用关系复杂Ø“爆炸半径”难以控制Ø演练组织形式

Ø“交易不断、资金不乱”Ø平台技术手段

Ø“有损”演练影响业务

高标准要求Ø量化评估效果

Ø持续完善闭环

运营实践

威胁安全稳定运行的五大风险

单点故障风险功能缺陷风险性能容量风险数据丢失损坏风险运维误操作风险

应用部署单点输入检查异常数据库性能容量风险数据库数据丢失损坏监控配置

技术风险防范框架

稳定性工程平台建设

稳定性平台的建设紧紧围绕高仿真模拟故障、多维度数据分析、全流程自动化。

故障构建能力量化分析能力自动化能力

Ø支持批量创建场景

Ø支持Linux/Windows两种操作系统Ø支持系统稳定性评估

Ø“串行”任务集演练

Ø拥有近两百多种故障场景注入能力Ø用户行为分析

Ø“并行”批量演练

Ø支持灵活编排Ø演练运营报表多维度分析

Ø自动化演练

Ø可实现复杂历史故障回放能力

稳定性工程平台架构图

故障场景构造能力

故障编排能力

灵活的故障编排能力，实现复杂故障模拟能力

1.基础资源2.应用资源3.业务资源4.专项资源

üCPUü端口ü卡ü数据丢失损坏

ü磁盘ü进程ü吊ü数据库

ü内存üJVMü死ü容器

ü网络ü错ü微服务

LinuxOSWindowsOS