银行行业科技部工程师系统故障排查手册（执行版）.docxVIP

银行行业科技部工程师系统故障排查手册（执行版）

第1章系统故障概述

1.1故障定义与分类

系统故障并非简单的程序崩溃或服务中断。在银行科技环境中，故障具有特定的内涵——它是指导致系统功能异常、性能下降或服务不可用的任何异常事件。故障分类需基于其根源和表现形式，才能制定有效的应对策略。常见的分类维度包括：

按故障层级划分

-底层硬件故障：如服务器硬盘故障（SMART检测到坏道概率达3%以上时需立即处理）、网络设备端口失效或存储阵列数据丢失。这类故障往往触发级联效应，单节点故障可能导致整条业务链路中断。

-中间件故障：如消息队列积压（Kafka分区容量超限会导致消息丢失）、数据库连接池耗尽（JVM内存溢出时GC频率会急剧升高）。典型案例是Tomcat线程泄漏，1小时内可能导致CPU占用率飙升至98%。

-应用逻辑异常：如计算错误（某银行曾因浮点数精度问题导致千万级交易差额）、权限校验缺陷（某次越权操作使客户资金被挪用）。这类故障通常伴随异常堆栈中的空指针或校验绕过痕迹。

按故障时效性划分

-瞬时性故障：如网络抖动（丢包率超过2%会触发重连机制）、缓存雪崩（Redis过期键集中失效导致DB压力激增）。这类故障若监控无延迟，可自动恢复，但需建立重试间隔限制。

-持续性故障：如服务端内存泄漏（某银行系统每月例行FullGC耗时从5分钟涨至35分