LTE网络防火墙的路由问题导致基站断链无法恢复.doc

PAGE 7 名称：LTE网络防火墙的路由问题导致基站断链无法恢复 提交人：王斌 提交日期：2014-05-07 软件版本：UMS8800_V2.00.00.00_24 硬件版本：UMS8800.5 ******************************************************************************************************************** 故障现象： 2014年4月18日上午12:30分在大唐LTE网管上陆续开始出现基站不同步、OMC到基站的维护链路断链的情况（500个站），影响操作和监控，基站业务因不走维护链路，不受影响，也有部分基站是正常的（100多站）。 可能原因： 维护链路断链基站的共性梳理 通过对断链基站的分布区域、基站IP地址段进行分析，发现断链的基站在万州大唐覆盖区域的6个县都有，各个IP地址段也都有，没有发现这些基站有共性。 基站保活流程上进行分析： 基站断链或不同步在保活流程上如果出现物理传输断链、路由断链、保活Trap消息丢失这些情况下才会发生。 通过对显示断链的基站路由测试发现OMC到基站的路由正常，OMC可以 PING通断链的基站，同时也就证明了物理传输没有断，IP层是通的。 （如下是对显示断链的基站云阳大楼微、云阳大楼这2个站测试结果） 通过对OMC和基站的传输接口上同时抓IP数据包来分析，从云阳大楼的2个基站抓包结果来看，基站往PTN传输上已发送了保活Trap消息，但在网管OMC的接口上没有收到这云阳大楼的保活Trap消息，保活Trap消息丢失在网络上。 （如下是基站接口上的抓包，红圈是基站周期向OMC网管发送的Trap消息已发到了和PTN对接的光口上，篮圈是在基站和PTN对接的光口上收到了OMC发过来的同步请求，并且基站也回复了同步响应） （如下是OMC网管接口上的抓包，OMC向基站发生同步请求，基站回了同步响应，但没有抓到基站向网管发的Trap消息，OMC只有在即收到保活消息，也收到同步响应后才设置基站状态为正常，并保持和基站的状态一致） 3、基站到网管的简略拓扑如下，如上是A点和D点的抓包结果。 4、4月21日在网管交换机上（C点），镜像防火墙到网管交换机接口抓包，从抓包结果看，没有抓到云阳大楼基站发过来的保活Trap消息，说明消息丢在防火墙或PTN传输网。 5、4月22日在PTN传输网末端（B点），镜像PTN到防火墙接口抓包，从抓包的结果看，B点有收到云阳大楼基站发过来的保活Trap消息，说明PTN传输上没有丢Trap消息,同时从B点的抓包可以看到一个异常情况：在同1秒钟内PTN向防火墙发送了多个Trap消息，而基站在5秒钟只发1个Trap消息。 （B点—PTN和防火墙之间抓包如上） （基站抓包如上） 6、继续对B点抓到的数据包进行分析，发现同一秒PTN发给防火墙的多个Trap包是同一个消息，即基站发送的1个Trap包，在PTN和防火墙之间多次传递，trap消息一直在MAC地址为34:e0:cf:fe:c2:f0和70:54:f5:de:6e:9f之间重复传递，一直到TTL为1的情况下被丢弃。 7、经PTN和防火墙的两个厂家确认，MAC地址为34:e0:cf:fe:c2:f0是PTN的，70:54:f5:de:6e:9f是防火墙的MAC，PTN发给防火墙的包又被送了回来，直到超时后丢弃的，防火墙厂家分析结论是防火墙在4月18日凌晨有主备倒换，从防火墙备用侧路由走的Trap包因路由问题没有发到出口C点（网管交换机），又返回了进口B点（PTN网），防火墙主用侧也跑着有部分业务，（通过防火墙主用侧业务的基站是正常的），同时防火墙又提出防火墙发生倒换是18日凌晨4点，而基站断链是18日中午12点30分。 8、我方分析出现18日凌晨4点防火墙倒换时基站未断链，而在18日中午12点30分出现断链的原因是：18日凌晨4点防火墙倒换时路由并未断链，所以基站和OMC之间并不会发送Trap，所以防火墙倒换时基站没有断链是正