软件行业运维部运维工程师故障排查手册.docxVIP

软件行业运维部运维工程师故障排查手册

第1章故障现象分析与初步定位

1.1故障日志与告警信息解读

运维工程师需第一时间登录监控大屏或集中日志平台，筛选出故障发生时间窗口内的所有“告警”与“日志”条目，重点关注包含关键字段（如错误码、线程ID、进程名、时间戳）的条目。若系统出现CPU飙升或内存溢出告警，应立即检查`/var/log/messages`或`/var/log/syslog`文件，查找是否有`OOMKiller`进程或`OutofMemory`相关的堆转储文件（coredump），通过`strace`命令分析被终止进程的最后执行路径。

针对数据库连接池耗尽的告警，需执行`SHOWPROCESSLIST`或`SELECTFROMinformation_cesslist`查看当前活跃连接数，识别是否存在长连接（如`sleep`或`wait`语句）导致连接数持续增加。若应用层报错频繁，需结合`grep-rERROR`在应用日志中定位具体代码行，并检查`java.lang.StackOverflowError`或`NullPointerException`堆栈中是否调用了未初始化的方法。对于网络层面的丢包或延迟告警，需使用`tcpdump-ieth0`抓包分析，观察是否有SYN