EMS脱管工单排查方法教学课件.ppt

参考色 EMS脱管工单排查方法 * 现象描述 定位过程 故障分析 解决方案 * 现象描述 1、第三方NMS厂家通过DCN网络连接到网管corba接口，通过调用corba接口对网管进行告警、性能、业务、设备等信息的采集。 2、告警平台有时会派发EMS脱管工单，反馈NMS采集器和corba接口的连接中断。 * 故障分析 NMS采集器和corba接口建立连接是一个互相协商的过程，连接中断的原因大致如下： 1、网络原因：网络不通、丢包等 2、corba接口服务运行异常 3、第三方厂家调用corba接口的方法不符合规范 4、第三方厂家的采集器运行异常 * 定位过程 工单分类 已恢复工单：接口日志 未恢复工单：接口日志、corba客户端自测、wireshark抓包 排查方向 corba接口运行情况 通信网络连通性 第三方采集器调用命令 * 定位过程 已恢复工单排查 * 定位过程 1、判断corba接口服务是否重启 接口每次重启都会生成新的WRI_1configureLog.file等日志文件 * 定位过程 2、判断是人为重启还是异常重启 IDLAgent_Operatorlog记录了第三方厂家或者北向接口客户端调用corba接口的操作记录，如果人为停止了接口服务，会有以下提示： 注意：如果是在任务管理器中直接杀掉接口服务线程，不会有该提示！ * 定位过程 如果有类似以下的exception文件，说明是接口服务发生异常重启 exception文件文件记录了接口服务运行异常时的状态 * 定位过程 接口服务异常重启原因 接口程序自身缺陷 服务器运行环境 第三方NMS厂家的调用方法不符合对接规范 * 定位过程 接口服务异常重启原因 接口程序自身缺陷 版本：SDH网管、0322SP28接口 在新加单盘上首次添加业务时，接口服务异常重启 * 定位过程 接口服务异常重启原因 接口程序自身缺陷 版本：PTN网管、0326接口 接口服务内存超出正常范围，发生异常重启 * 定位过程 接口服务异常重启原因 服务器运行环境 服务器剩余磁盘空间太小导致接口服务异常 * 定位过程 接口服务异常重启原因 第三方NMS厂家的调用方法不符合对接规范 第三方在结束某个线程时，调用了两次destroy命令 * 定位过程 3、判断接口服务是否正常发送心跳 WRI_1MessageLog.file WRI_1NotifyAnalyse.file * 定位过程 3、判断接口服务是否正常发送心跳 第三方采集命令占用了接口上报心跳的线程ID 参考日志IDLAgent_Operatorlog、WRI_1NotifyAnalyse.file * 定位过程 4、排查网络原因 IDLAgent_Operatorlog记录了第三方厂家或者北向接口客户端调用corba接口的操作记录，第三方采集器会一直向corba接口发送ping包，如果该日志中记录的ping操作是持续不间断的，则说明网络正常。 * 定位过程 5、第三方NMS采集器主动断开连接 第三方主动断开连接或者我们退出北向接口客户端时，IDLAgent_Operatorlog中会记录有endsession的操作。 直真采集器判断EMS脱管的规则是：如果超过十分钟没有收到corba接口的心跳包，则认为和我们接口断开连接了，就会派发EMS脱管工单。我们需要排查第三方调用endsession操作之前的10分钟，接口是否正常发送了心跳报文，如果心跳包一直正常发送，则通知第三方排查。 * 定位过程 二、未恢复工单排查方法 除了根据以上方法排查外，还可以做以下操作： 1、使用ping、tracert等操作排查网络原因； 2、登录corba客户端后，查看event_test日志中是否有心跳包、告警等消息。 * 定位过程 二、未恢复工单排查方法 如果event_test日志为空，则基本判断是TAO服务运行异常，可能是由于第三方采集线程数量超过了接口线程池数量（默认是4个），导致接口运行异常。 * 定位过程 3、使用wireshark等抓包软件可以抓到corba接口和第三方采集器之间的所有操作，抓包比IDLAgent_Operatorlog更加详细，更有说服力。 * 解决方案 网络原因 排查丢包或者通信中断的原因 corba接口程序缺陷 临时方案：重启接口服务 最终方案：升级接口版本