中兴ZXMP S380设备时钟板问题导致业务中断故障处理与分析.docVIP

中兴ZXMP S380设备时钟板问题导致业务中断故障处理与分析 　　[摘 要] 本文介绍了一个因中兴S380设备时钟板问题触发的故障案例。对该案例的故障处理过程进行了详细的描述,并对故障的原因进行了较为深入的定位分析。本文内容可为处理同类型设备故障提供参考。 　　[关键词] ZXMP S380;时钟板;时钟选择模块;故障;交叉板软件版本; 　　 　　一.网络拓扑 　　某单位光通信网络由汇聚层和接入层组成,网络拓扑如下图所示。汇聚层由网元A、B、C、D四个网元构成2.5G二纤双向复用段保护环CR1。E做为下支路扩展子架下挂A,构成2.5G支链。接入层环路为通道保护环,分片区就近接入到汇聚层网元。网元A和E均在综合局,各接入层支路业务全部在网元E落地。汇聚层采用中兴ZXMP S380,接入层采用中兴ZXMP S320/S360。 　　二.故障现象 　　某日,网元A 3#、6#、15#OL16(2.5G光板)上报背板侧的OOF(帧失步)告警,持续时间2秒。下挂的E网元的12#OL16上报背板侧的OOF告警,支路板上报TU-AIS告警,业务全部中断。网元B、C、D下挂的接入环上站点上报VC12 RDI(远端缺陷指示)告警。 　　三.故障处理 　　故障处理过程分为两部分,第一部分是排除故障,步骤如下: 　　1.检查A网元的时钟源,发现当前工作板为14#SC(备用时钟板),锁定在外时钟上,外时钟为主备两路2Mbits配置。查看时钟源保护倒换事件,发现14#SC不停有外时钟倒换事件,间隔一到两分钟。 　　2.判断故障可能出现在14#SC。拔出14#SC,使时钟强制倒换到13#SC(主用时钟板),时钟锁定在外时钟,但业务仍然不能恢复正常。用备板更换14#SC,再将时钟强制倒换到14#SC,时钟锁定在外时钟,业务仍不能恢复正常。 　　3.判断可能有别的故障点没有排除。由于中断的业务都是经过网元A再下到网元E的,因此进一步怀疑是网元A的交叉板可能出现故障,导致复用段倒换不成功引起业务中断。查询保护倒换事件,发现在告警出现时A网元4#、5#CS(主、备交叉板)发生了复用段倒换。查询3#OL16的业务总线和开销总线情况,发现工作于4#CS,将其倒换到5#CS,倒换后选择“清除”状态。此时,下挂网元A的一个环路业务恢复,其他业务仍然中断。 　　4.将5#CS拔出,使业务总线和开销总线强制选择4#CS,此时下挂网元B的一个环路恢复,其他业务仍然中断。将5#CS插回。 　　5.由步骤3、4可以判断业务总线和开销总线选择4#、5#CS都无法使中断业务全部恢复。由于S380设备交叉板缺少备件,暂时无法更换。交叉板是1+1热备份配置,两块同时出现问题的可能性应该不大。 　　6.维护人员电话咨询中兴技术支持人员,建议将网元A断电重启,使设备各板件的软件和配置重新下发运行。维护人员如是操作后,下挂于网元A、B下的接入环路业务恢复。下挂于网元C、D下的接入环路业务仍没有恢复。 　　7.经过分析,网元C下挂的接入环业务上到复用段是走C-D-A路由的,网元D下挂的接入环业务上到复用段是走D-A路由的,两者的共同路由为D-A。因此怀疑可能是因为此段的光板或者交叉板有问题导致业务中断。维护人员拔出网元A与D的连纤,使网元C和D的业务发生复用段倒换,此时网元C、D下的接入环路业务全部恢复正常。至此,故障结束,业务全部恢复。 　　故障处理的第二部分是故障排除后的测试。步骤如下: 　　(1)用带过来的备件分别更换13#、14#SC后,查看时钟源状态,均可锁定外时钟,进行时钟板的倒换测试,业务均能恢复正常,伴有瞬时的站点闪断,属于正常情况; 　　(2)查询交叉板的业务总线情况,发现不同槽位光板的业务总线和开销总线情况很混乱,有的槽位光板是选择备用状态,有的槽位光板是选择主用状态,但是对某一块光板而言,业务总线和开销总线全部选择主用或者全部选择备用。更改光板业务总线和开销总线的选择状态至主用交叉板(4#CS),下发命令正常,没有出现闪断等现象。然后选择清除,再进行倒换测试,拔掉主用交叉板(4#CS),总线倒换到备用交叉板(5#CS),业务出现闪断后均能恢复正常;然后查询光板业务总线和开销总线情况均选择备用。再拔掉5#槽位的交叉板,大部分业务出现闪断后恢复正常,但有一个下挂网元B的接入环业务无法恢复。 　　(3)插入5#CS板在网管上把网元A与该环业务对应的OL16光板总线的业务总线和开销总线全部选为备用,使其倒换到备用交叉板(5#CS)。结果业务恢复正常。由此判断4#CS板可能存在问题。为安全起见,将4#、5#CS均用备板进行更换。更换后进行倒换测试,业务均能恢复正常。 　　从以上故障处理过程来看,故障点定位在网元综合局1 14#时钟板及4#