从“拒绝服务”到“安全稳定”.pdfVIP

从“拒绝服务”到“安全稳定” —XX 油田 PLC 拒绝服务问题处理过程解析 项目背景 XX 油田作为国内名列前茅的油田公司，其已探明的油气储量和每年的油气产量在国内 具有举足轻重的战略地位，一直以来，该公司在工业控制系统的安全方面也高度重视。面 对日趋严重的工控安全问题，公司管理层将工控系统安全防护提升到战略层面，同时选择 北京威努特技术有限公司作为合作伙伴，力求打造油田行业的工控安全标杆项目。 根据整个油田公司的工控系统现状，威努特设计了涵盖工控系统边界防护、区域防 护、 主机防护的纵深防御解决方案，部署了包括威努特工控可信网关（工业防火墙）、工控主机 卫士（主机安全加固）、统一安全管理平台等在内的一系列自主研发的安全防护产品。 项目自交付验收后，系统整体运行稳定，也成功解决了原系统中存在的一些网络攻击 行为、网络安全隐患问题，客户整体评价很高。 问题就是命令，现场就是战场 油田公司某分厂有一个控制器需要增加读取点数，信息中心的工程师进行加点操作 此时更改控制逻辑可以正常进行，但采集数据的动作没有成功，通过工程师站查看数据存 在坏点。工程师又通过 ping 控制器的方式发现控制器没有响应，对应的通道也坏死，无论 如何操作都无法恢复，只能冷重启控制器。 面对该问题，信息中心的工程师试图通过模拟环境来寻找问题根源，但多次尝试最终 还是无功而返。因为新部署了工业防火墙，也想可能是防火墙策略配置错误导致了该问题 出现，因此随后就将求助电话打到了威努特。问题就是命令，对于威努特而言，客户现场 的问题从来都是最高优先级处理，当接到客户电话的第一时间，研发部就组织了精干力量 进行了讨论分析。为确保问题分析的准确性，也与客户现场的工程师召开了电话会议并详 细沟通了问题产生的过程、现象等，在重新审核了现场的防火墙配置策略后，也基本上排 除了是防火墙自身的原因导致。 兵贵神速，为了彻底帮用户解决该问题，在电话会议结束后，公司立即安排相关研发 人员到现场协助客户进行问题定位。 严谨探求真相，专业赢得信任  复现问题 使用测试现场的控制器原有程序：开始使用模拟环境测试过程中，使用的是测试控制 器原有的控制程序，将对应采集数据的范围未加入白名单规则中进行测试时，一直无法复 现当时的现象。 将现场程序下发给测试控制器：使用测试控制器原有的程序无法复现控制器无响应的 问题，于是将出现问题的现场控制器程序下发给测试控制器，尝试复现问题。 刚开始下发给测试控制器时并没有增加采数点，而是跟原来采集数据的范围一样，这 种情况下可信网关一直工作在防护模式，白名单一直有告警，但持续几个小时问题并未复 现。 于是更改思路，扩大控制器采集数据的范围，提高数据刷新的频率，并同时采集模拟量和 数字量的数据，在这种情况下问题很快复现，出现了类似现场控制器当时出现的现象。  原因分析 初步分析：问题复现后针对现象和可信网关抓取的原始报文进行初步分析判断，控制 器出现无响应的原因可能有： 1. 接收缓存区太小造成堆积被占满。当有部分 Modbus 报文过去后，后续的报文被 白名单拦截，导致控制器不断的接收部分报文而一直等待后续报文到来后释放缓 冲区内存，这样缓存区一直堆积，最终导致缓存区满，无法再接收报文，这样 ping 包也无法响应。 2. 控制器并发连接数有限。服务器采集控制器的数据时，完整的请求动作因为违反 可信网关的白名单规则而被拦截，这样服务器就会不断的重新建立会话来采集控 制器的数据，而控制器的并发连接数有限，当服务器与控制器建立过多的连接 时，导致控制器拒绝服务，从而出来无法 ping 通的现象。  实验验证 为了验证上述分析具体哪种是真正的原因，分别设计了下面几组实验： 1. 仅连接数控制测试 验证在一定的连接速率、连接数大于某个数值的情况下，控制器 实验目的 是否开始拒绝服务，无法再 ping 通。 通过使用不同的连接速率，如 1 个每秒、2 个每秒、10 个每秒 都不能使控制器拒绝服务。 实验过程 通过增加连接数，如增加到 1000 个、2000 个、2500 个、3000