2015问题分析报告.docVIP

针对绍兴县64、74局端软件问题的分析 故障现象 近期绍兴县EoC网络中总共出现以下五类故障现象： 终端状态出现黑名单、未授权的现象。 新接入终端无法注册；或者重启局端后，发现终端状态从离线变成在线。 删除终端后，终端显示离线、黑名单、未授权。 64局端在升级之后出现web页面出错的情况。 64局端在升级完成，运行一段时间后，出现能ping通但telnet无法正常工作的情况。 问题分析 1、终端状态出现“黑名单”、“未授权”的现象。 分析：由于线路干扰较多，通信误码较高（局端可以探测到终端，却获取不到完整的终端信息），导致终端无法完成全部注册过程，导致终端会在列表中显示为黑名单、未授权。 结论：实际此类终端属于信号质量较差，需要现场排查网络问题。 解决办法： 对终端进行“接入控制”、“授权”的初始化； 实时显示链路质量。局端可以探测到终端，却获取不到完整终端信息的情况认为是链路质量差，在web网管里面会实时显示。 软件版本：6.6.1.4；64软件3.6.0.6版本同步解决该问题。 2、新接入终端无法注册；或者重启局端后，发现终端状态从离线变成在线。 分析：此问题是在更改注册机制，由新升级后的版本引起。 终端上线的注册机制说明 局端软件中对终端的注册是按队列进行的，该队列的长度有个最大值，当前为5个，等待注册的终端首先会进入该队列，按序依次进行注册过程。 1）每新增一个等待注册的终端，队列会被占用1位，每注册完成一个终端后，队列会空余1位，按次序如此，可完成所有终端的注册过程。 2）由于队列有长度设置，发现终端后，会去判断当前队列是否有空余位置。如果有，则将终端信息添加至队列进行排队注册注册；如果已满，则在队列外等待，暂不注册。 新注册机制的bug问题说明 出现故障后，技术人员复查软件代码时，发现局端软件中存在Bug，该Bug会在一个终端未正常完成注册时，保留该终端在注册队列中的位置，且在该终端重新注册时，不清除之前未完成的注册记录，而会额外占用注册队列的另外一个位置，从而导致统一终端重复失败注册时占用注册队列的多个位置，直到填满队列。 故障可能性分析 1）由于线路状况复杂，可能存在终端在注册过程中出现信息传输出错的情况，因此，终端注册会因通信出错而异常终止，从而激活bug。 2）刚刚上电的终端，在注册到一半时，突然断电或断开同轴电缆，也会引起注册信息不完整而激活bug。 实际故障点查询分析 针对这类故障，我们查询了局端10.12.56.88下的终端53，终端53属于存在较大噪声干扰的终端。 通过截取局端的log记录信息，发现该终端确实在重复注册，但因确实干扰较大，每次注册都失败，导致了该局端注册队列被填满，终止了其他终端的注册过程。 结论：此现象为软件bug导致。 解决办法： 1）注册失败的终端信息，移出注册队列，另外登记； 2）重复注册失败的终端，记录最后一次注册信息，不重复登记。 软件版本：6.6.1.5；64软件3.6.0.7版本同步解决该问题 删除终端后，终端显示离线、黑名单、未授权。 分析：该故障是在正常终端被删除后出现，且该类故障出现的局端下，均有问题2故障存在。 当问题2出现之后，新终端的注册过程将会由于注册队列被填满而终止，因此，当终端被删除后，当成新终端重新注册的时候，会因为无法正常进入注册队列而不能正常注册。 结论：故障原因与问题2相同，属于软件bug导致。 解决办法： 1）注册失败的终端信息，移出注册队列，另外登记； 2）重复注册失败的终端，记录最后一次注册信息，不重复登记。 软件版本：6.6.1.5；64软件3.6.0.7版本同步解决该问题 64局端在升级之后出现web页面出错的情况。 一般情况下，web页面是以文件为基础，在文件中填写数据后生成新文件而完成web的创建，因此web页面出错首先是文件出错。查询该出错局端下的web文件，发现确实出错。 分析：由于文件的读取及写入过程，均有linux系统专用流程来自动完成，而导致该流程出错的原因，一般为内存分配出错导致。64系统主芯片88E6218属于早期的CPU，该CPU不带内存管理单元，内存的分配及收回均由应用软件自己完成，容易出现分配出错的情况。 根据故障查找内存分配问题，发现ceserver进程在修复之前注册bug的时候，多出了一个内存分配错误，该错误会导致系统内存出错，而引起系统对文件读写出错，还可能导致系统资源消耗而引起其他问题。 结论：内存出错引起。 解决办法： 找出内存分配出错点； 修改web数据生成方式，由以前写入文件系统的方式改为写入内存，直接在内存中生成，以避免多次对文件系统读写带来额外的出错可能。 软件版本：升级到3.6.0.8解决。 64局端在升级完成，运行一段时间后，出现能ping通但telnet无法正常工作的情况。 分析：此问