爱立信STM10B2 CP反复故障案例.docVIP

爱立信STM10B2 CP反复故障案例 故障现象： 汕头STM10B2在5月末多次出现CP FAULT，使用指令“REPCI,REMCI,RECCI”修复或更换REPCI检测提示的板件后可以恢复正常，但在24小时内又再次出现CP FAULT,且随后又再次出现LARGE及reload，系统检测都提示IPU或POWC板故障。 原因分析： 流程图： 爱立信CP FAULT处理机制 在AXE-10系统中，中央处理机CP的故障被定义为：位于中央处理器子系统CPS或维护单元MAU中某些部位的硬件错误以及能导致系统重新启动的软件故障。 OPI处理流程如下： CP中有三种检测CP FAULT的方法： Side determining supervisory circuit，用于检测CP中指定的硬件； Side comparing circuit，如果比较出结果不一样，由备用边送MAE到MAU； Software test programs，由MAS来控制，主要配合第一种方法。 当CP备用边进行数据比较发现错误，会向MAU发送MAE信号，此时MAU由passive态转为active态并发送MIS中断信号给两边CP，存储寄存器里的内容，CP执行SDP过程并把结果返回MAU，若检测结果为一边CP有错误，另一边正常则halt掉有问题的一边并使另一边继续处理话务，MAU向两边CP发出update信号，正常一边CP向有错误的一边更新数据，若更新成功则两边CP都恢复正常状态，若更新不成功则停止，正常一边CP执行诊断并输出告警。如果在执行SDP后两边返回结果均正常，则MAU会进行忙选后继续下去，若发现忙选错误则halt掉有问题的一边并restart正常的一边，输出告警。 CP FAULT分为两部分，也就是临时性错误和永久性错误。并不是所有的硬件错误都会出现CP FAULT的告警。对于永久性的错误，系统会出现CP FAULT的告警，对于临时性的错误，当同一种错误出现的频率过高或者同时出现过多的临时性错误时才会出现CP FAULT的告警 故障现象及定位过程 故障发生后，维护人员对CP进行检测，测试结果显示如下： CP 状态如下： 根据上面检测结果，因B-SIDE为SB，且检测提示CPU-B IPU及CPU-B POWC故障可能性较大，初步定位为B-SIDE板件有故障。 根据上述判断，维护人员首先更换B-SIDE的IPU板，更换后发现告警未消失，按上述检测结果，B-SIDE的POWC板存在故障的可能性也比较大，所以我们又更换了POWC板，并换回原IPU板。更换POWCH后，我们仍然发现CP FAULT 告警未消除。又再次做一CP检测： 检测结果发现，错误提示信息已经发生改变提示A/B-SIDE IPU都存在故障。 通过软件分析，B-SIDE侧IPU存在故障概率为51%，为避免前面的判断错误，我们又尝试再次更换该IPU板，更换后告警仍未消除，由此，我们判断非B-SIDE IPU板故障。由于A-SIDE为EX边，且目前运行正常，我们暂未对该侧IPU板实施更换。考虑可能存在软件进程吊死，或其他问题影响CP告警，我们对MAU板进行两次的拔插测试。第一次修复不成功，第二次拔插后，成功通过检测，且两边CP状态显示正常，但观察十分钟后，又再次出现CP告警。检测仍提示A-SIDE IPU存在故障。我们又再次拔插修复MAU板，并在修复成功，两边状态正常时随即更换A-SIDE IPU板。修复后CP状态再次短暂恢复正常。再次检测CP，检测结果如下： 从上述检测结果中，我们发现，提示的故障板件又再次发生变化。提示出现故障概率较高的几块板件中，我们已更换了CP两侧的IPU板，B-SIDE POUC板在前面的检测从未出现过。我们暂时排除POUC板故障的可能，MAU板却是每次检测都提示故障，但故障概率很低，只有2%的加权。由于故障提示较低，所以我们一直未对该板进行处理。但在前面的处理中，MAU板出现过拔插修复不成功的错误，且MAU板的故障也可能会导致CP FAULT分析结果的不正常，进而导致系统重启。通过分析，我们觉得存在MAU板故障导致CP检测错误，且致使出现系统重启状况。 解决措施： 最后我们更换MAU板，更换后告警消失，系统恢复正常，并观察24小时未出现CP故障。 经验总结： 该故障最终解决的措施比较简单，更换相应的板件就可以恢复。但故障处理过程却比较曲折，处理时间较长，需要维护人员仔细观察，对前后处理结果进行分析，熟悉MAU故障检测，定位及处理流程。 MAU属于MAS，MAU的基本功能就是当收到CP错误信号后对CP进行检查和控制。包括从CP接收软件或硬件错误信号，根据错误信号执行诊断过程以定位错误，进行错误恢复或产生告警。 MAU接收到错误信号就转入激活状态并命令CP执行SDP，这