基于关系数据流模型的网络入侵检测系统.docVIP

基于关系数据流模型的网络入侵检测系统 谭建龙 沈星星 王映 摘要：数据流管理系统（data stream management system DSMS）是处理动态数据集合的一种数据管理技术，采用数据流模型对网络入侵检测系统(Network Intrusion Detection System-NIDS)进行设计，可以利用数据流中多持续查询优化的技术，提高网络入侵检测系统的性能。同时使用关系数据流模型可以让入侵检测系统结构更加清晰，扩展性更好。文章描述网络数据的关系结构化，入侵检测特征的关系查询表示以及过滤型多持续查询优化技术。这个系统可以认为是数据流管理系统的一个应用系统，体现了一些数据流管理的概念和核心技术，对设计和实现通用的数据流管理系统具有一定借鉴意义。本文将重点围绕数据流查询（continue query）的编译优化、数据流管理技术和网络安全应用的关系进行分析。 数据流管理系统的功能 数据流管理技术是处理相对固定不变的大量查询和源源不断的流动数据的技术。而网络信息安全是解决对网络信息的分发、通讯、管理的问题。由于网络信息是典型的源源不断的数据流，同时有很多网络信息安全应用系统是采用大量查询方式，对这些网络数据流进行处理。所以网络信息安全是数据流管理研究的一个很好的典型应用。这个安全应用必须不间断无延迟地处理在线、持续的高速网络数据流，且网络数据不可能全都保存在外部存储器中。我们的研究就是基于持续查询概念，采用数据流管理系统作为流数据处理平台，将其应用到网络安全监控系统中去。我们实现了一个基于数据流处理模型的网络安全事件监控系统IceNetwork。在这个系统中，数据流管理平台通过优化执行注册于系统中的大量持续查询，对连续网络流进行过滤等操作，完成各种安全事件的监测与报警，从而有效地支持了监控系统的实时性，准确性与灵活性要求。 本文以建立一个网络入侵检测技术系统为案例，采用基于数据流管理技术的思想，来开展数据流核心技术的研究。希望能把工程中的核心问题，转换为数据流管理研究领域的通用问题。 数据流管理系统的功能 )和网络入侵检测系统(NIDS)。其中HIDS部署于单个主机，收集所有进入本主机的数据，加以分析检测。而NIDS部署于一个子网的出入口，以进出子网的网络包做为分析数据源。 通常利用一个工作在混杂模式下的网卡来实时监视并分析通过网络的数据流。其分析模块通常使用模式匹配、统计分析等技术来识别攻击行为。一旦检测到了攻击行为，NIDS的响应模块就作出适当的响应，比如报警、切断相关用户的网络连接等。由于NIDS采用在关键节点集中监测的方式，能够监控整个子网，并且对于子网内单个主机来说是透明的，因此部署起来比HIDS方便得多。随着越来越多的单位和企业采用以太网的局域网组网方式，NIDS得到了广泛的应用。NIDS的主要检测手段是模式匹配，这里说的“模式”是指，网络数据包的头部信息或者载荷中的数据满足的特定条件，网络安全领域把能够判定一个入侵的一组特征条件叫做“特征(Signature)”。 Snort[3]是一个成熟的、被广泛使用的、开放源代码网络入侵检测系统，它的有效性已经得到时间的验证。它具有一个可配置的特征库(因为它的每一个特征对应于一条规则，我们也把它的特征库称为规则库)，最新版本的Snort规则库包含了约2300条常见网络入侵的检测规则。图1为Snort2.0中检测引擎的工作流程图。 图1 snort2.0图典型情况是包通过一次，。 其中捕包前端负责将以太网数据帧捕获，并转换为预定义的结构化数据，提交给入侵检测引擎。入侵检测引擎的核心是DSMS引擎，其中预先注册了大量以数据流查询语言表示的入侵检测条件。当格式化的描述网络数据包的关系元组到达时，计算注册查询。检测结果被传给检测结果处理模块，以对入侵进行报警等后续处理。 网络入侵检测系统和数据流管理技术的关系 如果我们把网络入侵检测系统看作数据流管理系统的一个应用，数据流管理系统为入侵检测系统提供一个基础的平台，那么数据流管理平台就需要为入侵检测系统提供一些核心技术的支持。 下表说明网络入侵检测系统和数据流管理技术的关系。从对照比中我们可以看出入侵检测系统需要使用到大量的数据流管理的核心技术。把数据流管理研究的技术应用到入侵检测系统中，将为入侵检测系统提供良好的性能和扩展性。  网络入侵检测系统 数据流管理系统 联系 应用系统 基础平台 网络入侵检测系统是基于数据流管理系统的应用系统。 网络数据捕获：将网络的数据保存到内存中。难点主要是如何在内存中存储大量的数据，同时及时将处理后的数据丢弃。 内存数据存储：解决海量关系数据的存储问题。主要是处理数据滑动出处理窗口后，如何高效地丢弃掉。 由于数据流管理系统只能处理关系化的数据，所