互联网行业运维部运维工程师系统故障排查工作手册.docxVIP

互联网行业运维部运维工程师系统故障排查工作手册

第1章故障发现与应急响应

1.1告警监控与工单接收

运维中心（OCC）的监控大屏需实时展示全网核心链路健康度、CPU/内存利用率及告警分布热力图，运维工程师收到系统级“服务不可用”或“连接超时”级别告警时，必须在3秒内完成告警确认，并“确认”按钮锁定该告警状态，防止因误操作导致告警被重复触发或丢失。工单系统应支持多渠道（如短信、邮件、钉钉/企业）自动推送，一旦告警级别提升至“紧急”或“严重”，系统应自动包含故障时间、地理位置、受影响服务列表及初步根因假设的工单，并强制要求运维人员必须在15分钟内通过工单系统发起响应，超时未响应将触发自动化升级流程。

工单接收后的第一步动作是“工单核查”，运维人员需立即在系统中搜索该工单，核对故障发生时间与系统监控日志的时间戳是否匹配，若发现系统时间不同步或日志记录缺失，需优先排查服务器时间同步服务（NTP）配置，确保所有设备时间戳一致。在确认故障时间点后，运维人员需执行“业务影响评估”，根据故障发生时间窗口，判断是仅影响部分非核心业务（如测试环境）还是全链路核心业务中断，同时检查负载均衡器（LVS/SLB）的会话保持状态，区分是后端应用故障还是网络层故障。针对不同类型的故障，工单系统需自动下发差异化的处理模板：若为网络层故障，自动推送“检查交换机端口连通性及VLAN配置”指令；若为