信息系统故障应急演练脚本.docxVIP

信息系统故障应急演练脚本

7月15日14:00:00

运维监控岗小王紧盯Zabbix监控大屏，系统告警弹窗闪烁：OMS订单管理系统交易成功率持续低于20%，数据库连接超时率90%。

小王立即登录堡垒机，通过Navicat尝试连接主数据库（10.10.10.10:3306），提示连接超时；切换连接备库（10.10.10.11:3306），成功进入。检查应用服务器日志（/data/logs/oms/app.log），最新500条记录显示：Causedby:java.sql.SQLTransientConnectionException:HikariPool-1Connectionisnotavailable,requesttimedoutafter30000ms。

14:02:15

小王拨打运维值班经理李芳电话：李经理，OMS系统从13:58开始交易成功率骤降，主数据库无法连接，备库当前正常，应用端报连接超时。已确认网络连通性，防火墙无异常，主库服务器PING响应正常。

李芳：启动一级应急响应，通知开发组、业务组、客服组到302会议室集合。你同步拉取主库服务器/var/log/mysql/error.log，我5分钟后到。

14:05:00

应急指挥中心（302会议室），李芳主持会议：当前OMS系统故障影响用户下单、支付查询，涉及日活用户80万。运维组汇报现状