基于数据流挖掘的网络入侵检测系统的分析与研究-定稿.doc

第 PAGE 1 页 共23页 基于数据流挖掘的网络入侵检测系统的分析与研究 中国电信金昌分公司 李宗宁 摘 要：随着互联网的迅猛发展,各种网络入侵层出不穷,已经成为网络信息安全的主要威胁。入侵检测是网络信息安全中一种很重要的主动防御手段,端口扫描、DDOS、ARP攻击、网络蠕虫病毒等多种网络入侵和网络故障都会造成网络流量异常，因而通过实时检测网络流量异常可实现自适应入侵检测，这对提高网络的安全性、可靠性和可用性具有重要意义。 本文是建立一种两阶段基于数据流挖掘的网络入侵检测分析，将网络数据流处理过程分为在线的网络流量异常检测和离线的网络数据流挖掘两阶段，保证网络流量异常检测的实时性和提高系统的灵活性与并行性。 网络流量异常检测阶段首先建立数据流十字转门模型表示网络流量数据，在线实时统计一定周期内特定协议流量，同时采用卡尔曼滤波预测模型预测同一周期的流量，计算实测值与预测值之间的差异sketch，建立对应网络流量变化模型，从而实现快速发 现基于某种特定协议的网络异常行为的目的，提高入侵检测的实时性。 网络数据流挖掘阶段将实时采集的网络流量数据存入SQL数据库，采用多种数据挖掘方法对数据进行研究，并将挖掘结果导入规则库，实现与网络流量异常检测的无缝连接。 本文的创新点在于按照网络协议进行不同粒度流量分类，能够发现隐藏在整体正常流量下的特定协议流量异常，提高网络流量异常检测的有效性；能够支持不同的聚类算法，按多种条件组合对数据进行聚类，实现对多种网络入侵的实时报警；通过采用不同的频繁项挖掘算法，实现异常数据源的追踪定位和发现新的异常；在对网络流量数据流进行充分挖掘的基础上，提出了新的高速网络流量检测算法，实现网络流量异常数据源的快速在线追踪定位，提高检测实时性，降低检测误检率和漏检率。 关键词：网络安全；入侵检测；数据包捕获；数据流挖掘； 随着网络的不断发展,网络速度越来越快, 大规模复杂网络的迅速发展,网络安全问题也随之变的更加突出,传统的网络入侵检测技术的局限性越来越明显,已经无法适应网络攻击层出不穷和数据量日益增大的趋势。数据流挖掘网络入侵检测技术是一种对高维的、动态变化的大量数据进行挖掘的新方法,由于高速网络的数据具备动态变化、数据量大、维度高这些特点,所以数据流挖掘技术可以很好的完成高速网络数据分析和入侵检测的任务,从而提高网络的安全性、可靠性和可用性。本文是建立一种两阶段基于数据流挖掘的网络入侵检测分析，将网络数据流处理过程分为在线的网络流量异常检测和离线的网络数据流挖掘两阶段，保证网络流量异常检测的实时性和提高系统的灵活性与并行性。 一、1、特色描述 研究内容是建立一种两阶段基于数据流挖掘的网络入侵检测系统，将网络数据流处理过程分为在线的网络流量异常检测和离线的网络数据流挖掘两阶段，保证网络流量异常检测的实时性和提高系统的灵活性与并行性。 其特色在于按照网络协议进行不同粒度流量分类，能够发现隐藏在整体正常流量下的特定协议流量异常，提高网络流量异常检测的有效性；能够支持不同的聚类算法，按多种条件组合对数据进行聚类，实现对多种网络入侵的实时报警；通过采用不同的频繁项挖掘算法，实现异常数据源的追踪定位和发现新的异常；在对网络流量数据流进行充分挖掘的基础上，提出了新的高速网络流量检测算法，实现网络流量异常数据源的快速在线追踪定位，提高检测实时性，降低检测误检率和漏检率。 2 、背景分析 随着互联网的迅猛发展,各种网络入侵层出不穷,已经成为网络信息安全的主要威胁。入侵检测是网络信息安全中一种很重要的主动防御手段,端口扫描、DDOS、ARP攻击、网络蠕虫病毒等多种网络入侵和网络故障都会造成网络流量异常，因而通过实时检测网络流量异常可实现自适应入侵检测，这对提高网络的安全性、可靠性和可用性具有重要意义。 入侵检测是指通过收集和分析被保护系统的相关信息,从而对系统的安全性进行判断,对可能危害到系统的机密性、完整性和可用性的行为进行报警和阻断,达到保证系统安全工作的目的。 入侵检测根据观察角度的不同有多种分类方法。 根据所处理数据来源的不同分成基于主机的入侵检测 (host intrusion based IDS,HIDS) 和基于网络的入侵检测(network intrusion based IDS,NIDS)。HIDS 以主机中的系统日志等静态数据作为处理对象,完成入侵检测功能。 这种方式只能做到事后检测。而NIDS以网络中传输的数据包为分析对象,从中寻找所携带的网络攻击特征,及时正确判断并检测出入侵行为。这种检测方式要求系统能够及时捕获网络中传输的数据包,并进行快速分析和处理,实时地给出检测结果并进行有效预警。 二、实现方案 1、异常流量预测原理 (1).异常检测的分类 异常检测主要有两类，分别是