一起DCS控制系统网络异常分析与处理.docVIP

一起DCS控制系统网络异常分析与处理 　　摘 要 本文叙述了一起DCS控制系统网络异常事件，应急处理对策及性能优化措施，提高了DCS控制系统的性能可靠性，为今后处理DCS控制系统类似事件提供了很好的经验借鉴。 　　关键词 DCS控制系统；网络异常；应急处理与性能优化 　　中图分类号TP39 文献标识码A 文章编号 1674-6708（2013）103-0227-02 　　1 案例描述 　　某电厂DCS控制系统2011年4月18日下午5点10左右，运行人员发现1#机组所有操作站中数据丢失，画面显示为“？？？”，但现场设备运行正常。维护人员到达后去电子设备间检查，发现部分控制器退出同步，维护人员试图手动同步，发现42控制器出现X灯常亮故障。去机柜中检查发现网络中原先设定为master状态交换机（IP：192.168.11.211）指示灯显示异常，master灯从常亮变为闪烁。而同机柜的另一台交换机（IP：192.168.11.212）master灯由不亮变化为闪烁状态。维护人员对服务器做重起，但无效果；对IP：192.168.11.212的交换机做重新上电处理，网络恢复了一小段时间运行后再次出现上述情况。经电话咨询DCS厂家技术人员，确定把此台交换机换下，并拨出42控制器后，网络恢复正常。5月31日下午13：37前后，1#机组所有操作员站中再次出现部分数据变成“？？？”，但约一分钟后自动恢复。 　　2原因分析 　　2.1 4月18日网络异常的分析 　　网络出现数据采集中断时，设定为master状态交换机（IP：192.168.11.211）指示灯显示异常，master灯从常亮变为闪烁，而同机柜的另一台交换机（IP：192.168.11.212）master灯由不亮变化为闪烁状态。 　　通常，常态下的环网的状态是：网络中有一台交换机设置为master，在网络构建成环时，此台交换机上的master灯常亮，并且在web页面中也可以观察到。环网中的其他交换机master灯都不亮，web页面观察到的都是slave状态。一般，master灯变为闪烁状态只有在环网处于开环状态时才会出现。而同时出现两台交换机master灯闪烁，有两种可能性：1）网络中有两台交换机人为设置成了两个master。（这个可以排除）；2）网络中出现异常的数据包，或交换机出现了硬件故障时，网络拓扑发成了改变。从交换机的日志文件中可以看到，在出现问题的时间点??交换机在短时间内记录了多次拓扑更改信息。从部分控制器保存的事件日志文件能提取到如下记录：“！ 18/04/11 11：01：54 （0x5C004A16） 81F6 Entering Ethernet rate Protection UDP broadcast storm”，可以看出网络确实产生UDP数据包广播风暴！ 　　从交换机和控制器的这些记录信息，可以发现在数据采集异常时，环网在频繁的切换状态，网络中在那个时间段很有可能存在着很大的数据流量，即发生了网络风暴，从而使整个网络的通讯不畅，数据无法正常传输，致使操作站画面数据显示为“？？？”。但究竟什么原因诱发了网络风暴，还有待进一步的试验分析。 　　2.2 5月31日网络异常的分析 　　通过对控制器日志的分析，发现本次异常时锅炉和汽机网段共有13对控制器出现中断，最早出现中断的控制器是T2550_16，中断时间是13：37：48，最后恢复的控制器是T2550_30，时间是13：38：28。总体故障时为40秒。出现数据中断的控制器都出现了同步退出，退出时间大概在数据中断前12秒左右，这13对控制器的事件记录中都出现了由数据中断引起的冗余切换过程。 　　2.3 两次网络异常的比较 　　5月31日的故障与4月18日的现象有相似之处，都是在操作站上数据显示为“？？？”。但5月31日出现“？？？”的范围较小，涉及13对控制器，时间较短，持续40秒。5月31日的故障的直接原因与4月18日不同。4月18日所有的控制器的记录都显示出网络的中断和堵塞，使得控制器向操作员的数据通讯中断，画面显示都为“？？？”号。而5月31日的故障，没有任何与网络中断和堵塞的记录。仅为个别通讯中断引起控制器的同步退出的记录。同步退出过程，再次强制同步，造成网络负荷短时加重，13对控制器上传数据故障，造成相关数据在画面上显示为“？？？”。 　　3 对策与性能优化 　　3.1 4月18日网络异常后所采取的主要措施 　　4月18日异常发生后，该厂邀请相关电力科学研究院专家、DCS厂家及交换机厂家技术人员一起立即在现场招开了事故分析会。确定：1）立即将交换机送台湾的生产厂家进行软、硬件检测；2）DCS厂家抓紧对控制器及交换机的日志事件，招集资深人员对整个事件做更深入的分析，