金融行业科技部运维工程师系统故障排查手册（执行版）.docxVIP

金融行业科技部运维工程师系统故障排查手册（执行版）

第1章故障现象快速定位与分级

1.1异常现象记录与日志采集

故障发生后的第一时间，运维工程师需立即登录监控大屏，定位到具体发生告警的服务器IP及主机名，并截取该主机在30分钟内产生的所有系统日志（syslog）和应用程序错误日志（error.log），同时抓取最近一次从数据库到应用层的完整调用堆栈（CallStack），确保日志时间戳连续且无截断，这是后续分析的基础。对于关键业务系统，必须同步采集前端业务系统的访问日志（AccessLog），重点提取包含HTTP状态码（如500,502,503）及详细请求参数（RequestPayload）的JSON数据，以便通过工具（如ELK或Splunk）快速比对日志库，判断是服务端内部异常还是外部网络接入问题。

若故障涉及数据库，需立即导出数据库服务器的SQL执行日志（SQLLog）及慢查询日志（SlowQueryLog），特别是关注执行时间超过500ms的SQL语句，并记录其关联的会话ID（SessionID），以便排查是否存在死锁或长时间挂起的查询操作。采集过程中，务必记录网络层面的抓包数据（PacketCapture），重点分析TCP连接状态（如ESTABLISHED,TIME_WT,CLOSED）及