利用机群技术实现高带宽网络环境入侵检测 免费.docVIP

利用机群技术实现高带宽网络环境入侵检测 1 NIDS面临的问题和解决的方法 随着现代网络技术的迅猛发展，交换技术的不断提高，千兆网络解决方案已经 成为一种潮流，尤其是电信IDC、金融、ISP等企业，均采用了OC-3或千兆的骨干网络环境。像在这样的高端用户群的网络中，他们的共同特点是：网络数据流量非常大，一般持续流量可以达到标准流量的70%—90%；并发连接数极高，骨干网络中的业务服务能力非常强，并发联接数可达百万到千万级，而且并发联接数建立过程也非常快，通常要求在数秒内达到并发联接数的上限。要在这样一个高背景流量环境下进行网络安全监控将会面临很多难题。海量的安全事件对入侵检测系统本身也是一个严峻的考验。 目前市场上主流的基于网络的入侵检测系统还没能满足千兆网络环境的要求，对于像2.5G POS高于千兆流量的情况，入侵检测系统就更加难以处理。如何为高端用户提供可靠的高背景流量下的网络入侵检测，又顾及入侵检测系统网络负载能力，同时保证系统的可扩展性、可维护性，是目前高端入侵检测系统面临的一个主要难题。 在这种情况下有许多提高NIDS性能的方法，如减少环境切换，分布式节点、数据分流、提高硬件性能等。 环境切换是指内核模式和用户模式之间的数据复制。减少数据包处理过程的环境切换可以有效提高接受数据包得性能。如为了提高传统的基于libpcap库基础上开发的入侵检测系统的性能。产生了一种 “零拷贝”技术。但是这种技术只是在一定程度上提高了NIDS的数据包捕获的能力。在提高了捕获能力后，由于受到CPU和协议栈等性能的影响，数据包的匹配检测能力会成为NIDS的下一个瓶颈。 为解决高速网络环境中丢包问题，1999年6月，出现了一种新的结构，基于分布式网络结点结构的IDS，也称为Stack-Based IDS（因为虽然IDS Sensor被装每一个主机上，但它处理的是基于TCP/IP协议的网络数据包）。它将IDSensor分布到网络上的每台机器上，每个Sensor只检查访问本地机器的IP分组然后传感器相互通信，主控制台将所有的告警聚集、关联起来。这种采用分布式网络节点的入侵检测系统一定程度的解决了高速网络中入侵检测性能不高的问题。但是这种方法也有明显缺点，在子网内的所有机器上面安装Sensor检测网络数据，不可避免的会影响机器的其它应用,同时也会产生较大的网络流量。 目前，已有部分基于ASIC的入侵检测系统进入市场，国内也有若干基于网络处理器开发的千兆入侵检测系统。这些基于较高性能的硬件开发的系统，主要面临的问题是开发周期较长和成本较高。 采用机群分流的方式是在单机没有较高的检测能力情况下的一种解决问题的方法。通过多台计算机构成机群，能够得到更高的处理性能。在入侵检测领域可以通过这种方式构成NIDS机群以满足高带宽情况下对入侵检测设备的性能要求。 机群（Cluster）是一种并行或者分布处理系统，指一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。利用成熟的机群技术，可以构建由多台服务器组成的单一入侵检测系统。通过建立负载均衡机群，将被一台服务器捕获的千兆带宽的网段内的数据包，根据负载情况转发到多台装有百兆等级IDS的服务器进行处理。这样就能通过多个百兆等级的IDS构成一个满足千兆环境的入侵检测系统。通过使用机群技术，使网络数据分流是解决高速网络环境下实时有效检测和大容量存储的问题的有效手段。 2 NIDS机群的应用结构 NIDS机群在实际的应用中，不仅可以将数据分流，还可在数据分流的基础上进行集中管理和分析。如图1展示了一个典型的利用负载分流的方式实现监控DMZ网络流量的架构。在这个体系结构中，由前端负载均衡器捕获数据并按设定的负载均衡算法将网络数据流转发到不同的处理节点。负载均衡器在转发数据的同时也实现了网络负载平衡，有效地在处理节点中分配了工作负载或网络流量。多个IDS Sensor捕获数据流后由一个或多个分析机进行处理。监控台对各个IDS Sensor和分析机状态进行监控，控制台对产生的报警信息进行处理分析，并通过防火墙和路由器对访问数据流进行过滤和控制。数据库统一保存捕获的数据和产生的日志。 图1通用NIDS机群应用结构图 完整的检测过程可以分为七个部分 （1）量复制：捕获网络数据包； （2）载均衡：根据每个IDS的负载情况和检测能力,均衡分配负载； （3）实时检测：从普通的数据流中发现可疑的数据流； （4）分析：判断可疑的数据流是否正常行为或入侵行为； （5）监控：使网络管理者看到入侵行为，提供报告和解决方案； （6）管理：根据入侵行为设置IDS并通过路由