基于聚类一种分布式入侵检测系统.docVIP

基于聚类一种分布式入侵检测系统 　　【摘要】传统的异常入侵检测方法需要构造一个正常行为特征轮廓模型，但建立该模型需要的数据集取得不易。而且异常检测中普遍存在误报与漏报过高的问题。为克服这些问题，本文提出一种结合聚类分析和HMM的异常入侵检测系统。实验结果表明，该系统用于入侵检测具有较高的检测率和较低的误报率。 【关键词】入侵检测；数据挖掘；聚类；隐马尔可夫模型 1.引言 入侵检测技术是通过对计算机系统与网络中的一些行为信息进行分析来检测出对系统的入侵攻击行为。从检测方法上，可以将入侵检测分为两类：滥用检测和异常检测。目前，对异常检测技术的研究已成为计算机安全技术领域的一个重要方向。 异常检测是通过对历史数据的学习，建立系统正常行为的模型，再利用模型对网络数据进行检测。这种算法需使用大量的带标签数据或者正常数据来进行训练，然而我们很难在实际网络中得到这样的数据。而如果手动地建立这样的数据集又要消耗巨大的人力物力资源。为缓解这个问题，可以使用聚类算法，它可以直接在未标记的数据集上进行训练，通过离群点来判别异常行为。 但是，聚类和大部分无监督检测算法一样，都有着检测率低而误报率较高的问题。 针对上述异常检测的问题，本文将聚类算法和隐马尔可夫模型结合起来，设计了一个异常入侵检测系统。该系统既可以使用无标签数据集进行训练，同时又对于异常入侵检测有较高的检测率和较低的误报率。 2.入侵检测系统结构与概述 本文设计的基于聚类和HMM的网络入侵检测系统主要由数据预处理模块、聚类分析模块和HMM检测模块三部分组成，结构如下图所示： 数据预处理模块负责把收集到的网络数据包转化成适用于入侵检测的网络连接记录的审计数据集，数据经聚类分析模块过滤后，由HMM检测模块进行检测，区分入侵行为。 系统的工作过程分为两个阶段：训练阶段和检测阶段。 在训练阶段，预处理模块生成审计数据并转换成标准格式，由聚类分析模块对审计数据进行过滤，分离出正常的数据，将正常数据集送入检测模块作为训练集进行训练，建立隐Markov模型，并得出相应的参数。 在检测阶段，以聚类分析模块对待测数据进行初步检测，剔除明显的异常数据，然后余下数据送入HMM检测模块进行进一步检测.从而判别出正常数据和入侵数据。 3.聚类分析模块 3.1 聚类分析 聚类分析应用在入侵检测中是基于以下两个基本的假设[1]：（1）正常数据的数量远远大于攻击的数据量；（2）攻击数据在某些属性的取值上明显偏离正常的取值范围。聚类分析法是根据相似度将数据集合划分成若干个称为类的子集，使同一个类中的对象具有尽可能大的相似性，而不同类中的对象具有尽可能大的差异性。再通过设定阀值，将生成的类划分成正常类和异常类，从而将网络上采集到的未标记的数据集转化成了带标记的数据集，同时也对数据进行了初步检测。 3.2 聚类算法 聚类分析算法主要分为：基于划分的方法、基于层次的方法、基于密度的方法、基于网格的方法、基于模型的方法。 基于划分的k-means算法[3]具有简单、计算复杂性小和快速收敛等优点，用于异常入侵检测十分有效。它的基本思想是：首先从N个数据对象中随机选择k个对象，每个对象初始地代表了一个类的平均值，即为初始聚类中心，然后将剩余的每个对象根据与这些聚类中心的相似度，分别赋予与其最相似的聚类。再重新计算每个所获新聚类的聚类中心（即该聚类所有对象的平均值），不断重复迭代，直到聚类中心值不再变化为止。本文使用的聚类算法是k-means算法的改进算法。 聚类模块既为检测模块提供了纯净的正常训练数据，节省了训练的成本，又减轻了检测模块的检测负担，在保持检测性能的同时提高了检测速度和效率。 4.隐马尔可夫模型检测模块 4.1 隐马尔可夫模型 隐马尔可夫模型（HMM）是描述随机过程统计的概率模型。它是一个双重随机过程，其中之一是Markov链，它描述内部状态的转移；另一个随机过程则描述了内部状态与外部观察值之间的统计对应关系。 4.2 隐马尔可夫异常检测模型 4.2.1 HMM检测模型的建立 用于异常检测的HMM模型的状态空间只包含两个状态：正常状态和异常状态，我们用0表示正常状态，用1表示异常状态。以审计数据集每个数据记录的所有特征作为一个观测序列，它的一个特征属性为观测序列中的一个观测值，一个数据记录的特征数为L。由此建立的HMM模型如下： （1）状态空间：设隐Markov链为H（t），t=1，2，…T，其状态空间为Φ={0，1}，状态数N=2。 （2）状态转移概率矩阵：A=（aij）N×N= （aij）2×2，i=1，2，...，L。 （3）观测值概率矩阵：B=[