在线自适应网络异常检测系统模型的相关算法及研究.pdf

中文摘要 摘要：随着计算机网络应用的日益增多，安全问题越来越突出。网络入侵可 能会对计算机网络造成严重的破坏，因此对具有主动防御特征的入侵检测系统的 需求日趋紧迫。与传统的防火墙、反病毒软件不同，入侵检测系统能够主动对网 络和用户行为进行监控，发现对系统的非法使用和入侵行为，从而提供对系统的 保护。在过去的十多年问，基于误用的检测得到大量应用，因为这种技术易于实 现，并且具有较低的误报率，因此实用性较强。但是基于异常的检测技术具有发 现新入侵的能力，近年来受到了越来越多的重视。另外，在高速网络环境下网络 流量不断增加，多数入侵检测算法己经不能满足对实时处理能力的需要。黑客技 术的不断发展以及网络应用环境的变化，也对入侵检测系统的检测性能和自适应 性提出了更高的要求。 本文以提高入侵检测系统的运行效率，增强自适应能力以及提高检测能力为 技术目标，在系统模型设计、检测技术的综合应用以及检测算法的设计等方面进 行了深入的研究，取得了一些创新性的研究成果，主要内容包括： 1．提出一个轻量级的在线自适应网络异常检测系统模型(OANAD)。系统能够 对实时网络数据流进行在线学习和检测，在少量指导下逐渐构建网络的正常模式 库和入侵模式库，并根据网络使用特点动态进行模式更新。系统结构同时体现了 异常检测系统和误用检测系统的特点。OANAD使用基于网格的方法表达网络应用 模式，同时配合简洁高效的运行机制，较好地满足了在线处理网络数据对系统运 行效率的要求。 2．提出一个基于模式影响度的网络异常检测算法PIAD。算法将异常检测技术 与误用检测技术有机地结合在一起，不但能够检测到新入侵，而且在保持较高的 检测率的同时有效控制了误报率。算法采用消极学习方法，能够进行快速的在线 增量学习，而且其时问复杂度和空间复杂度都很低。算法与OANAD模型紧密结 合，具有很强的实用性和较好的检测能力。在DARPAKDD99入侵检测数据集上 进行测试，训练集数据和测试集数据以数据流方式顺序一次输入系统，在40秒之 内系统完成所有学习和检测任务，并达到检测率91．32％和误报率0．43％的结果。 根据现有文献，这个实验结果是在KDD99测试全集上相同检测率下误报率最小的， 同时系统在识别新入侵上也具有良好的表现。 3．提出一种聚类算法k-Cubes用于网络应用模式的聚类和网络异常检测。算 法直接以OANAD使用的网络应用模式为处理对象进行聚类，在聚类过程中通过 动态合并与分裂来自动决定聚类的数目。在此基础上给出了半监督k-Cubes聚类算 法，利用少量带有标记的数据对聚类中的合并和拆分过程进行指导，最后根掘聚 类的结果生成检测规则。k-Cubes聚类算法适合处理高维并且含有多值字符属性的 大数据集数据，同时具有输入参数少等特点。在KDD99入侵检测数据集上的实验 结果显示，算法获得了95．82％的检测率和1．25％的误报率；并且在识别新入侵的 能力上，算法检测到了17种新入侵中的15种。 4．提出一个基于有监督ISODATA聚类的网络入侵检测算法，用于网络异常 检测。在三方面对ISODATA算法进行了改进：首先，算法能够直接处理字符数字 混合属性的数据；其次，算法可以同时处理有标记和无标记的数据，并利用有标 记数据来指导算法的分裂过程；最后，将算法的输入参数减少到只有两个。在 KDD99入侵检测数据集上的实验结果显示，算法获得了95．62％的检测率和1．29％ 的误报率。 为了验证OANAD系统的实际可行性，我们还开发了一个原型系统，用来监 视一个局域网内的H订P访问情况，实验结果证明系统是可行的。 关键词：网络入侵检测：异常检测；入侵检测系统模型：影响函数；基于网格的 聚类；半监督聚类 分类号：TP393．08 ABSTRACT ABSTRACT：Withtheextensiveof becomesa usagecomputernetworks，security criticalissue．Networkintrusionscancausesevere to disruption thereisall needforasolutionthatcall defendn