IT系统故障排查步骤模板.docVIP

IT系统故障排查步骤模板

一、适用场景说明

系统响应缓慢、功能模块不可用（如用户无法登录、数据无法提交）；

监控平台触发告警（如CPU/内存占用过高、网络连接异常、服务进程异常退出）；

用户反馈业务异常（如数据不一致、操作失败）；

系统升级、配置变更后出现的新故障或旧问题复发。

二、系统故障排查流程步骤

步骤1：故障初步确认与影响评估

目标：快速判断故障真实性、紧急程度及影响范围，避免误报或延误处理。

1.1现象核实：

通过监控系统（如Zabbix、Prometheus）、用户反馈渠道（如客服工单、用户群）确认故障现象是否真实存在，排除误报（如用户操作不当、网络临时抖动）。

记录故障具体表现：如“用户登录系统时提示‘验证码错误’（实际输入正确）”“订单查询接口返回500错误码”。

1.2紧急程度判断：

根据业务影响范围划分紧急等级：

紧急：核心业务完全中断（如支付系统不可用），影响所有用户或关键业务流程；

高：核心业务部分功能异常（如订单提交失败），影响部分用户或业务模块；

中：非核心功能异常（如用户信息无法修改），不影响主要业务流程；

低：轻微异常（如页面样式错乱），可临时绕过使用。

1.3影响范围评估：

统计受影响用户数量、业务模块、地域范围（如“华东区域用户无法访问”“后台管理模块无法导出报表”）；

评估对业务的影响：如“预计每小时造成万元交易损失”“影响用户正常办理业务”。

步骤2：故障信息收集与记录

目标：全面收集故障相关信息，为后续根因定位提供数据支撑，避免关键信息遗漏。

2.1基础信息记录：

故障发生时间（精确到分钟，如“2024-05-2014:30”）、持续时间、是否周期性出现；

故障系统名称/版本（如“订单系统V2.3.1”“MySQL5.7.32”）、部署环境（如“生产环境-ECS-北京可用区B”）；

相关操作记录：如故障前是否进行系统升级、配置变更、数据迁移、容量扩缩容等操作（记录操作人、操作时间、操作内容）。

2.2日志与监控数据收集：

收集系统日志：应用日志（如Tomcatcatalina.log、业务系统操作日志）、中间件日志（如Nginxaccess.log、Redis慢查询日志）、数据库日志（如MySQLerror.log、Oraclealert.log）；

收集监控数据：CPU/内存/磁盘使用率、网络流量、连接数、响应时间、错误率等（截图或导出监控平台数据，保留时间范围：故障发生前30分钟至故障发生时）；

收集用户操作轨迹：如故障发生时的用户操作步骤（“用户‘提交订单’→选择支付方式→‘确认支付’→提示失败”）。

2.3环境与依赖信息梳理：

梳理系统依赖组件：如数据库、缓存（Redis/Memcached）、消息队列（Kafka/RabbitMQ）、第三方接口（如支付网关、短信服务）的版本、地址、状态；

确认网络环境：如系统所在VPC、安全组规则、防火墙配置、负载均衡器状态（如“Nginxupstream后端3台服务器，2台无响应”）。

步骤3：根因定位与分析

目标：通过分层排查、工具分析，逐步缩小故障范围，定位根本原因。

3.1分层排查法（自底向上）：

基础层检查：

硬件状态：服务器CPU/内存/磁盘是否过载（如CPU使用率持续90%，磁盘I/O等待时间100ms）、网络设备（交换机、路由器）端口状态、带宽是否打满；

系统状态：操作系统内核日志（dmesg）、进程状态（psaux/top）、系统服务状态（systemctlstatus）。

中间件层检查：

应用服务器：Tomcat/Jetty进程是否存活、端口是否被占用、JVM堆内存使用情况（jmap/jstat）、线程堆栈（jstack，排查死锁/阻塞）；

Web服务器：Nginx/Apache配置是否正确（如location匹配规则、代理超时设置）、访问日志中错误请求统计；

缓存/消息队列：Redis/Memcached连接是否正常、内存使用是否溢出、Kafka/RabbitMQ消息堆积情况。

应用层检查：

代码逻辑：排查近期上线的代码版本是否引入BUG（如空指针异常、SQL语句错误、事务未提交）；

接口调用：检查第三方接口响应时间、错误码（如支付接口返回“503服务不可用”）；

数据一致性：核对数据库表数据、缓存数据与预期是否一致（如订单状态未同步）。

数据层检查：

数据库状态：主从复制是否延迟、锁等待（showprocesslist）、慢查询日志（记录执行时间1s的SQL）；

存储空间：数据库表空间、磁盘剩余容量是否不足（如“数据库磁盘使用率95%导致无法写入新数据”）。

3.2工具辅助分析：

使用日志分析工具（如ELK、Splunk）过滤关键词（如“ERROR”“Exception”“Time