线上故障处理原则.docxVIP

线上毛病处理准绳 任何事情都没有表面看起来那么简约 全部事情的进展都会比你估计的时间长 会出错的事情总会出错 假如担忧某个事情发生，那么它更有可能发生 墨菲定律示意我们，假如担忧某种情况会发生，那么它更有可能发生，久而久之就肯定会发生。这警示我们，在互联网公司，对生成环境发生的任何怪异现象和问题都不要轻视，对其背后的缘由肯定要调查清楚。同样，海恩法则也强调任何严峻的事故背后都是很多次小问题的积累，当到肯定量级后会导致量变，严峻的问题就会浮出水面。那么，我们需要对线上服务产生任何现象，哪怕是小问题，都要寻根究底，对任何现象都要遵照下面问题 为什么会发生 ？ 发生了该怎样应对 ？ 怎样恢复 ？ 怎样避开 ？ 应急目标 在生成环境发生毛病时快速恢复服务，避开或削减毛病带来的损失，避开或削减毛病对客户的影响 应急准绳 应第一时间恢复系统，而不是彻底处理呢问题，快速止损 明显资金损失时，要第时间升级，快速止损 目标要围绕目标，快速启动应急过程与止损方案 当前担任人不能短时间内处理问题，则必需进行升级处理 处理过程在不影响用户体验的前提下，保留现场 应急方法与流程 线上应急一般分为 6 个阶段 发觉问题 定位问题 处理问题 回顾问题 改进措施 过程中要记住，应急只要一个总体目标：尽快恢复，衰退影响。不管处于哪个阶段，首先想到的必需是恢复问题，恢复问题不肯定能定位问题，也不肯定有完善的处理方案，可能通过阅历或者开关等。但这可以达到快速恢复的目的，然后保留现场，以及定位问题，处理问题和复盘 发觉问题 通常我们通过系统层面、应用层面和两头件层面监控来发觉问题 系统层面监控包括 系统的 CPU 使用率 Load average? Memory? I/O （网络与磁盘） SWAP 使用情况 线程数 File Description 文件描述符等 应用层面监控包括 接口的响应时间 QPS 调用频次 接口成功率 接口波动率等 两头件层面监控包括数据库、缓存、消息队列。? 对数据库的负载、慢查询、连接数等监控 对缓存的连接数、占用内存、吞吐量、响应时间等监控 消息队列的响应时间、吞吐量、负载、积累情况等监控 定位问题 分析定位过程中先考虑系统最近发生的变化，需要考虑如下几方面 毛病系统最近能否上过线？ 依靠的基础平台与资源能否升级过？ 依靠的系统能否上过线？ 运营能否在系统内做过运营变更？ 网络能否有波动？ 最近的业务量能否涨了？ 运营方能否有促销活动？ 处理问题 处理问题要以定位问题为基础，必需清楚定位问题产生的根本缘由，在提出处理问题的有效方案，没有明确缘由之前，不用使用各种方法来尝试修复问题，可能还没有处理这个问题又引入了下个问题，想想刚刚提到的墨菲定律 回顾问题 处理问题后，需应急团队与相关方回顾事故产生的缘由、应急过程的合理性、提出整改措施，次要聚焦在以下几个问题： 类似的问题还有哪些没有发生？ 做了哪些事情，事故就不会再发生？ 做了哪些事情，准时发生毛病，也不会产生影响？ 改进措施 依据回顾问题提出的改进措施，以正式的项目管理方式进行统一管理，接受 SMART 准绳来跟进 参考 分布式服务架构原理、设计与实战