调度数据网网络震荡事故分析.pptxVIP

事故分析大讲堂数据网网络震荡分析事故分析大讲堂选定事故案例1选定事故案例2事故分析讲解3补充提问总结2017年某地区数据网网络震荡事故案例事故分析大讲堂事故分析讲解1选定事故案例2事故分析讲解3补充提问总结②事故分析讲解①选定事故案例③提问补充总结2017年6月30日8时22分，某地区自动化值班人员发现地县一体化能量管理系统主调、备调出现大批量厂站RTU中断，仅部分厂站数据偶尔刷新。查看调度数据网网管系统发现大批数据网设备离线，核心路由器之间链路一度出现中断。RTU中断设备离线②事故分析讲解①选定事故案例③提问补充总结县局汇聚PTN接口第二汇聚核心ZTE M6000大楼核心A大楼核心BPTNPTN核心E县局汇聚CPOS接口CPOS110kV变电站FPTNPTN县局汇聚PTN接口第一汇聚核心H3C R6608核心D备调核心C②事故分析讲解①选定事故案例③提问补充总结重新启动大楼核心A路由器，但重启之后CPU使用率过高现象依然存在。通过Terminal monitor命令发现核心路由大量BGP重建汇报省调，禁用了本地和省调之间的连接。联系通信运维班，确认了不是通信链路自身的问题8时40分9时35分8时24分检查备调核心路由器。检查发现：CPU使用率过高，达到了75%极有可能发生网络震荡！②事故分析讲解①选定事故案例③提问补充总结第二汇聚核心ZTE M6000大楼核心A大楼核心B进行最小系统排除法? 10时5分，仅保留大楼核心A与大楼核心B的互联、不接任何业务。通过命令检查CPU负载恢复正常，网络震荡消失。PTNPTN核心E110kV变电站FCPOS? 10时10分，将备调核心C与核心D、核心E之间连接断开，将备调核心C与核心A连接、不接任何业务。测试正常。PTNPTN第一汇聚核心H3C R6608核心D备调核心C②事故分析讲解①选定事故案例③提问补充总结第二汇聚核心ZTE M6000大楼核心A大楼核心B? 10时20分，将核心D接入（含接入层业务）。测试正常。PTNPTN核心E110kV变电站F? 10时30分，将核心E接入（含接入层业务）。测试正常。CPOSPTN至此，数据网核心网络恢复正常。PTN第一汇聚核心H3C R6608核心D备调核心C②事故分析讲解①选定事故案例③提问补充总结恢复大楼核心A的业务：第二汇聚核心ZTE M6000大楼核心A大楼核心BCPU:75%? 10时40分，在大楼核心A上将地调CPOS、PTN网络业务依次接入，网络和业务正常。PTNPTN核心E? 将县调核心CPOS跳纤接入，大楼核心A出现CPU负载过高，大量BGP重建现象，由此判断问题出在县调汇聚核心。110kV变电站FCPOSPTN? 随即断开CPOS跳纤，在大楼核心A上将所有县调汇聚核心互联手动关闭，插上光纤，进行逐步排查。PTN第一汇聚核心H3C R6608备调核心C核心D②事故分析讲解①选定事故案例③提问补充总结P县第二汇聚核心ZTE M6000大楼核心A大楼核心B排查结果显示P县汇聚核心出了问题。? 将P县汇聚核心的对端侧互联全部手动关闭。PTNPTN核心E110kV变电站FCPOSPTNPTNP县第一汇聚核心H3C R6608核心D备调核心C②事故分析讲解①选定事故案例③提问补充总结P县第二汇聚核心ZTE M6000大楼核心A大楼核心B? 11时40分，恢复其他核心业务，测试正常。? 在检查整个调度数据网网络情况良好、运行稳定后，12时5分与省调联系，恢复地县一体化主备系统与省调主备系统的连接。PTNPTN核心E110kV变电站FCPOSPTNPTNP县第一汇聚核心H3C R6608核心D备调核心C②事故分析讲解①选定事故案例③提问补充总结P县第二汇聚核心ZTE M6000大楼核心A大楼核心BPTN? 13时至16时，对P县汇聚进行测试分析，查出问题出现在P县第二汇聚核心上。将P县第二汇聚核心孤立。PTN核心E110kV变电站FCPOSPTNPTNP县第一汇聚核心H3C R6608核心D备调核心C②事故分析讲解①选定事故案例③提问补充总结找到故障发生的根本原因：P县第二汇聚核心路由器M6000的版本为V3.00.10(2.21.1)，此版本属于工厂版本，非正式商用版本，存在OSPF 49天的BUG。分析路由器的死机文件来看，M6000路由器在故障发生前的最近启动记录在5月11号，到6月30日发生故障时，正好49天。事故分析大讲堂补充提问总结1选定事故案例2事故分析讲解3补充提问总结③提问补充总结①选定事故案例②事故分析讲解上述网络振荡案例暴露出了哪些问题？对应的防范措施有哪些？③提问补充总结①选定事故案例②事故分析讲解2在班组内部组织网络安全技术培训1安全管理不到位1制定验收和巡视标准作业卡坚强自我约束和相互监督网