软件开发运维部工程师系统故障排查手册.docxVIP

软件开发运维部工程师系统故障排查手册

软件开发运维部工程师系统故障排查手册

第1章故障管理基础

1.1故障概述

系统故障的本质是什么？是预期行为偏离正常轨迹的瞬间或持续状态。无论是数据库响应延迟、应用崩溃，还是网络中断，最终都会转化为对业务连续性的威胁。运维工程师面对的，不是抽象的问题，而是具体的服务指标超标、用户投诉或监控系统告警。例如，某电商平台的支付系统在促销活动高峰期出现TPS骤降，直接导致订单处理失败率飙升至5%。这类场景的复杂性在于，故障根源可能隐藏在数个依赖服务之间，而表象却可能出现在最表层的应用层。

故障具有突发性、隐蔽性和传导性三大特征。突发性意味着故障可能在任何时间点出现，而隐蔽性则源于分层架构中隐藏的耦合问题。一个微服务无日志配置的微小缺陷，可能在数小时后才在下游系统引发连锁反应。传导性则强调故障的级联效应——数据库主从延迟可能导致读服务超时，进而影响写服务的幂等性校验。理解这些本质特征，是制定有效排查策略的前提。

1.2故障分类

故障分类不是简单的标签化，而是基于故障发生机制和影响范围的逻辑划分。按发生位置划分，可分为：

-基础设施层故障：如Kubernetes节点宕机、负载均衡器黑洞路由。这类故障通常伴随资源指标（CPU/内存/磁盘I/O）异常，且可通过监控告警快速定位。某次排查中，因云厂商可用区网络抖动导致3台