- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
科学的故障管理
-鼓励改进 ,还是处罚错误 ?
赵成@蘑菇街
关于我
• 11年工作经历 ,电信及互联网软件研发运维
• 2008.5-2015.1 ,华为
• 2015.1-至今 ,蘑菇街
• 擅长领域 :运维、SRE、DevOps、云计算、技术管理
• 个人荣誉 :
• SRECon19 Asia/Pacific Speaker
• 腾讯云TVP ,最具价值专家
• 专栏作家,《进化 :运维技术变革与实践探索》作者
• 当前 ,专注于云计算、SRE和技术运营方向
目录
为什么要科学的故障管理
故障管理实践-定级、定性、定责
故障管理与SLO
为什么要 “科学”的故障管理 ?
Blameless Culture
Gitlab全球直播故障恢复
如何科学地管理故障 ?
—故障定级、定性、定责
纠结的问题
• 问题到底严不严重 ?有多严重 ?
• 责任谁来承担 ? 锅谁来背 ?
• 造成恶劣影响 ,应该怎么处罚 ?
故障定级-影响程度(P0-P4 )
• 影响范围
• 用户影响 ,持续时长 ,如注册、登录、IM通信
• 影响收入
• 收入降低 ,GMV、支付金额
• 造成资损
• 向商家、CP、SP赔偿损失
• 造成PR事件
• 公司口碑、声誉受损
故障定级/升级示例
故障定性-有效分类
• 代码质量
• 测试质量
• 流程规范
• 硬件设备
• 变更执行
• 第三方
• 产品逻辑
• 预案演练
• 。。。。。
故障定责-判定原则
• 高压线原则
• 上下游原则
• 健壮性原则
• 分段判定原则
• Case By Case原则(自由裁量 )
谁来主持公道 ?
科学管理- “法官”判定
中立 定级
权威
定性
规则制定
自由裁量 定责
普法宣传
主持公道
要不要 “处罚” ?
定责 ≠ 处罚 ≠ 钱
要不要处罚 ?
• 慎用处罚 ,负作用大
• 要有标准 ,有理有据
• 高压线、重复错误、低级失误 ,要罚
• 长周期 ,全局审视
• 管理者要承担更大责任
故障管理与SLO
如何度量—SLO稳定性度量体系
• 度量内容 :
能够衡量服务质量的指标 ,如可用性 ,RT
• 度量范围 :
SLO
SLI 指标合理范围 ,如RT200ms ,http返回码为非5xx
您可能关注的文档
最近下载
- 2025年微型无人机五年技术成熟度及室内飞行应用趋势报告.docx
- 综合利用废渣新建熟料新型干法水泥与水泥生产线建设工程可研分析报告.doc
- 六年级上册语文1-8单元默写通关训练.docx VIP
- (有源医疗器械)加速老化验证方案.docx
- 【1-8单元默写通关训练(含答案)】五下语文.docx VIP
- 黑龙江省哈尔滨市一中2024-2025学年高一上学期期末语文试题 含解析.docx VIP
- 2000t综合利用电石渣水泥熟料生产线建设可研报告书.doc
- 内蒙古多校2024年中考模拟地理试卷(含答案).docx VIP
- 下肢静脉溃疡护理ppt课件.pptx VIP
- 2500熟料水泥生产线可研.doc
原创力文档


文档评论(0)