关于自动转报系统服务器单网卡运行时网卡故障处理.docVIP

关于自动转报系统服务器单网卡运行时网卡故障处理 　　摘要：DMHS系统是由北京航管科技有限公司研制开发的用于AFTN/SITA格式电报存储交换的通信系统。大连空管站使用的是DMHS-H96路自动转报系统，于2014年7月引进，2015年8月，在该系统试运行期间日常巡检过程中，值班员发现双服务器互联网线出现了告警提示，针对此问题对两台服务器链路进行进一步的检查工作，找到产生告警的原因，并根据实际情况提交了解决方案，最终排除安全隐患。 　　关键词：DMHS；物理结构；网卡 　　一、背景描述 　　1、DMHS-H系统物理结构 　　96路H型转报系统由两台HP DL580 G7服务器，两台同步单元，两台CISCO交换机及6台异步单元组成。两台服务器之间通过COM口使用一条DB9交叉线连接，这条串口交叉线用来做双机检测；一块集成网卡使用网线分别与两台交换机相连，承担同步报文数据、配置参数等信息以及服务器对外的通讯工作。 　　其中，每台服务器有一块网卡，包含两个网口， eth0口连接交换机1、eth1口连接交换机2，交换机1与交换机2互联，实现了双网运行模式。但是当网卡硬件故障时，该通信方式便会无效。 　　具体结构图如图1所示： 　　2014年1月引进的DMHS-H96路自动转报系统服务器间的拓扑结构如上面所述，在试运行期间基本稳定，值班员每日对该系统进行两小时定时巡检，并详细记录运行信息。 　　二、事件描述 　　1、事件起因： 　　2015年8月，在设备巡检的过程中，值班员发现DMHS-H系统服务器监控软件显示两台服务器通信异常，无法进行数据同步工作，主机与备机中均显示网络状态为：“？”，表示系统通信故障，需进一步检查故障原因。 　　此时检查主备机数据同步信息发现，主备机中的数据及修改信息不能?M行同步，同步指针中显示未同步信息在逐渐增加，此现象同样说明通信故障。 　　通信线路故障情况下，可以采取应急切换操作，在主机上执行双机切换，执行后主机提示信息为“无法进行切换，由于通信异常造成”，应急切换操作失败，需进一步处理查找切换失败原因，经排查发现主机找不到对等机。 　　对综上结果进行分析，均可以判断两台服务器间通信发生了异常，但仍需要进一步检查测试，确定造成该异常现象的原因并加以解决。 　　2、排查过程 　　根据MNG工具中提示的告警信息，需要对两台服务器的通信进行检查，首先检查系统中对于双机信息的配置是否有误，如果配置信息出错，可能会造成通信中断，检查命令为：#cat dmhs_afs.ini，返回结果显示双机的配置信息均完整有效，没有出现丢失或者错误的情况，可以排除双机参数的配置问题。 　　第二步：检查网卡状态，查看是否可以找到网卡，以及网卡的配置参数是否有效，检查命令为：#ifconfig，执行后结果显示找不到网卡端口，没有相应的配置参数，需要进一步检查网卡配置是否存在，分别检查ETH0和ETH1的网卡配置情况，结果显示网卡配置参数正常有效，那么根据目前情况，可以采用重新启动网卡的方式，看是否可以排除故障，命令为#service networkrestart，重启网卡结果显示，网卡端口不存在，重启失效，此时网卡状态显示停止工作。 　　通过上述的网卡检查工作，显示找不到网卡硬件信息，通过命令重新加载网卡驱动，仍然无法重启网卡，遂初步判断是网卡板卡故障造成。需要联系HP售后服务人员，进行检测并更换网卡硬件。HP服务人员到达现场后，更换一块新网卡，重新启动服务器加载网卡信息，由厂家工程师远程维护网卡配置参数，并进行存储后，服务器的通信状态均显示正常，双机数据同步以及切换测试也恢复正常。至此，该通信状态异常的故障彻底排除，恢复通信。 　　三、解决方案 　　单块网卡的运行模式下，一旦网卡硬件故障，则该服务器的通信将会彻底中断，所以解决单块网卡独立，真正实现双网状态运行是必要的。 　　通过研讨决定每台服务器增加一块外置网卡，每一块网卡中的一个端口连接一台交换机，运行过程中，一旦一块网卡出现故障则另一块网卡仍会在网络中承担通信业务，不会造成服务器的中断，真正实现了一主、二备的工作模式。 　　四、过程实施 　　在系统的结构建设中，96路DMHS-H自动转报系统原配置一块网卡，现在按照单网卡故障的解决方案，在以后的系统建设中，每台服务器均可以配置两块外置网卡，实现网络信号的一主、二备的传输模式，两块网卡分别加入两台交换机环境，形成双环保障。 　　1、每台服务器均配置两块网卡，分别为系统集成网卡一块，使用网口ETH0、ETH2，外置网卡一块，使用网口为ETH4，将ETH0连接交换机1，ETH2作为双机互联网口，ETH4连接交换机2，这样实现了通信的双环路，将ETH1网口设置为备用网口，如果双机互联网口E