OMCR穿透防火墙后主服务器主备切换后OMC长时间不可用问题.doc

PAGE 1 名称：OMCR穿透防火墙后主服务器主备切换后OMC长时间不可用故障案例 提交人： 蒋先全 提交日期：2014年6月29日 软件版本：UMS8800_V2.00.00.00_27 硬件版本：V3.20.00.45.21 ******************************************************************************************************************** 故障现象： 四川电信TDD-LTE项目工程期间在完成OMCR安装、调测后进行内网试用正常后，在内网进行主备用服务器切换后在完成SERVER、NMA、WEBSTART等应用程序正常启用后约5分钟左右OMT终端可正常重新下载，并正常使用。而在DCN网络中进行主服务器主备用切换后（scswitch -z -g omc-rg -h “主用”），OMT终端需要等待约30分钟后方可正常登录使用，而主备发生切换后的30分钟内均出现不能连接服务器，系统将退出提示，表现为与网络失去连接。 具体情况如下： 可能原因： 流程图 出现该问题后，仔细分析四川电信TDD-LTE传输组网结构，DCN网络处于南向，途经防火墙、OMC交换机。而四川电信OMCR网关均放在防火墙端，OMC交换机仅具备层二交换功能，不具备路由转发。那么穿透防火墙后DCN网络中OMC长时间不可用，而相同时间内OMCR内网中OMC终端可正常使用，故该问题极大可能出现在防火墙内部。其中四川电信TDD-LTE传输组网结构图如下： 1、再次进行主备服务器切换，确认服务器正常切换并启动后，内网OMC终端能正常使用。 2、主被服务器切换并正常启用后，在DCN网络中登录OMC终端，并通过WIRESHARK抓取DCN网络到防火墙路由转发数据包情况，获取原始登录失败数据包流向关系。确认主被切换后路由转发主备用服务器切换前后均将数据包转发至于主服务器浮动地址6.44.2.135上，路由转发关系正常。 3、当确认服务器主被切换前后路由转发关系正常时，我们发现验证主备服务器切换时，内网主备服务器切换正常启动后及时将数据包发送至0010.e03f.2fd3这个目标主用主服务器对应的实际MAC地址上，但在防火墙抓包DCN网管终端数据虽然路由关系已经切换至于目标主用服务器6.44.2.135上，但是其业务板MAC地址未及时变更到0010.e03f.2fd3这个目标主用主服务器对应的实际MAC地址上。 而在30分钟内仍然在源主机MAC（010.e03d.d403）进行数据包发送。最终导致DCN网络中OMC终端无法与OMCR主用服务器进行正常通信。导致这30分钟内DCN网络中OMC终端无法正常使用。具体抓包截图如下： 故障处理： 处理步骤： 1、联系山石防火墙工程师与其总工分析并确认该问题后，明确该问题属于防火墙设备内部BUG。山石防火墙在OMC服务器发生主备用切换后，其控制面正常切换，而业务面未及时与控制面保持一致切换的主要原因为控制面与业务面之间周期性监测MAC一致最小粒度为30分钟，即导致主被切换后需要等到周期性监测到控制面与业务面之间MAC地址不一致后，防火墙内部调整业务面MAC地址为控制面MAC地址后DCN网络中OMC终端方可正常使用，并与客户一起确认该问题属于防火墙内部BUG。 2、防火墙工程师提起内部BUG处理流程，并进行BUG修复后（修改周期性监测MAC一致最小粒度为2分钟），问题得到有效规避。 结论分析： 通过本次问题的出现，故障分析、定位，及问题解决。我们可以发现影响OMC终端无法正常使用的可能很多，诸如常见的用户不存在、用户密码错误、参数配置错误、路由不通等常见原因，而我们在处理该类常规问题时可按照常规的问题分析、处理流程进行定位、分析、处理。而当属于其他问题时我们最好还是结合一些底层路由抓包工具进行详细定位，并且问题定位后一定要及时联系涉及各位进行明确，制定后续解决计划进行解决。