计算机行业运维部运维员系统故障排查手册.docxVIP

计算机行业运维部运维员系统故障排查手册

第1章故障发现与初步研判

1.1告警监控与日志接入

运维员需通过监控平台（如Zabbix,Prometheus）配置关键指标（CPU、内存、磁盘IO）的阈值，当系统资源使用率超过90%时，系统自动触发高亮告警，运维员需在5分钟内确认告警来源并“确认”按钮以关闭假阳性通知。日志接入应通过ELKStack（Elasticsearch,Logstash,Kibana）或Splunk构建统一日志平台，将服务器、数据库及中间件的日志实时采集并聚合，运维员需定期核对日志中出现的“错误码”与“堆栈信息”是否匹配当前告警场景。

针对数据库服务，需重点接入MySQL的SlowQueryLog和Binlog数据，当查询延迟超过500ms时，系统自动将慢查询日志推送到Kibana进行分析，运维员需据此定位是哪条SQL语句导致了性能瓶颈。网络层监控应集成NetFlow或IPFIX数据，当某台服务器出现异常流量突增或丢包率超过1%时，告警系统会同时推送至网络监控大屏，运维员需立即检查防火墙规则及链路连通性。应用层日志需关注HTTP4xx和5xx状态码的分布，若某业务接口在10分钟内返回500错误超过20次，系统需自动标记为“服务不可用”，运维员需优先排查后端服务进