XX移动数维中心故障处理步骤v1.0模板.docVIP

XX移动数维中心故障处理步骤 2009-11-27 目 录 一、解决故障流程 3 1.1接到故障 3 1.2故障信息采集 6 1.3故障涉及设备定位 8 1.4明确故障路径并登陆设备 8 1.5设备日志指标及状态排查 9 1.6相关维护厂商并行查询故障点 9 1.7收集各单位查询结果 10 1.8诊断故障点后及时处理解决 10 1.9各单位监控保障值班 10 1.10故障处理结束。 10 二、解决故障的要求 10 一、解决故障流程 1.1接到故障 监控或者业务系统人员报故障，当日值班人员接到故障信息。 1.1.1第一时间赶往万年场（故障现场）（15分钟内赶到现场）。 1.1.2由同事根据初步故障信息进行远程查看设备信息（5分钟内响应） 1.1.3查看设备CPU、内存、接口状态、接口流量、业务系统访问关系点测试。 具体操作方法： CPU： show processes cpu 查看cpu 查看当前网络设备cpu利用率 说明： 一般情况下cpu利用率不会超过30%，如果cpu利用率过高导致网络设备端口假死或者设备处于高负荷运行状态，先确定设备是否遭攻击，如果是确定攻击源地址，目的地址进行封堵； 内存： show processes memory 查看内存 查看当前网络设备内存利用率 说明： 一般情况下内存的利用率不会超过30%，如果内存利用率过高导致导致故障，先确定设备是否遭攻击，如果是确定攻击源地址，目的地址进行封堵；否则的话查看设备内存的容量，端口流量等信息来判断是否是因为这些原因导致的故障。 接口状态： show ip interface brief 查看端口信息 查看当前端口的状态情况 说明： 通过show ip interface brief能初步判断出端口目前的情况： a：链路down，协议也down，这是可能是传输线路有问题，也有可能是本端或者对端设备端口down，端口松动，端口假死等情况，这时候首先换个端口，看故障恢复没有；如果故障仍在，换传输线路， b：链路UP，协议down，这说明传输线路没有问题，可能是两端配置上的问题，这时检查配置，ip地址，封装格式，时钟速率等，如果确认本端配置没有问题，找到对端设备进行排查。 接口流量： show interface fx/x 查看接口信息 查看当前接口的运行状态 说明： 对上行端口和下行端口进行检查，检查端口的流量，错误的包，校验的包等信息，从而判断端口是否正常，如果是端口流量过大导致故障，可以采取负载均衡对流量进行负载，或者采取捆绑链路的方法增加带宽；如果发现端口有很多错误的包或者很多需要校验的包，说明链路有丢包的现象，可以采取主备切换或者更换链路的办法在第一时间恢复业务系统。 设备主备切换查询： show standby brief 查看主备状态 确定当前网络中主用的设备 说明： 现网中设备都是做了hsrp热备的，通过在设备上查看设备的主备状态，能查出当前网络中哪个是主用哪个是备用，如果是主用的发生了切换，而其他的网络设备没有随之切换这样就会导致网络中断，可以采取手工的方式切换回来，如不能手工切换的可以让其他厂商设备也做一次切换，使之同步。 业务系统访问关系点测试： 说明： BOSS：从业务系统ping boss的地址， 和段的地址，tracert 和 通过tracert的结果发现断点环路，或者登陆到boss-3745查看路由，telnet端口，ping业务系统的地址。 短信网关：从业务系统ping 短信网关的地址， 和（梦网网关），（行业网关）的地址，tracert ， 和通过tracert的结果发现断点环路，或者登陆到行业网关交换6506，梦网网关交换4503查看路由，telnet端口，ping业务系统的地址。 华为短信中心：从业务系统ping 华为短信中心的地址，段的地址，tracert 通过tracert的结果发现断点或者环路，或者登陆到华为短信中心的路由器NE05上面 查看路由，telnet端口，ping业务系统的地址。 康维短信中心：从业务系统ping 康维短信中心的地址，和段的地址，tracert 和17217.87.0段地址，通过tracert的结果发现断点或者环路，或者登陆到康维短信短信中心的路由器NE05上面 查看路由，telnet端口，ping业务系统的地址。 中兴短信中心：从业务系统ping 中兴短信中心的地址，段的地址，tracert 段地址，通过tracert的结果发现断点或者环路，或者登陆到康维短信短信中心的路由器NE05上面 查看路由，telnet端口，ping业务系统的地址。 短信业务：从业务系统ping 短信业务安全域的地址，段的地址，tracert 段地址，通过tracert的结果发现断点