一种基于概率统计网络异常检测方法.docVIP

一种基于概率统计的网络异常检测方法 　　摘 要 目前的入侵检测系统（IDS）采用的分析技术主要为两种，误用检测（Misuse Detection）与异常检测（Anomaly Detection）[1-2]。误用检测的不足是无法检测未知的异常行为或恶意代码。异常入侵检测不需要事先知道入侵行为的特征，其假设当用户系统被攻击或者入侵时，会表现出不同往常的行为特点，作为检测依据。检测效率高，不依赖先验知识库，能够检测未知异常。本文提出了一种通过统计分析IP、端口、流量、周期、时间等因子来判定网络行为异常的检测方法。通过算法优化和实验验证，该方法针对常见的DDOS攻击、蠕虫扫描、木马窃密等网络行为都有较高的检测准确度。 　　关键词 误用检测；异常检测；恶意代码；DDOS攻击；蠕虫扫描；木马窃密 　　中图分类号：TP751 文献标识码：A 文章编号：1671-7597（2014）23-0041-02 　　1 研究背景 　　最早由Denning提出了基于异常的入侵检测的思想[3]，网络异常检测方法又分为两类[4]：有指导异常检测（supervised anomaly detection）和无指导异常检测（unsupervised anomaly detection）。有指导检测，需要输入已经过判断的正常和异常的样本集合，无指导检测的输入是一个未经过判断的样本集，由系统自动区分以发现异常数据。网络异常检测方法主要包括概率统计、模式预测、机器学习、数据挖掘等，本文在对多种网络异常事件和恶意代码行为详细分析的基础上提出了一种基于概率统计的网络异常检测方法。 　　2 异常特征选取 　　概率统计方法的思想是假设用户在一段时间段内的行为是有一定统计规律性的，然后借助概率统计理论来计算相关的特征量，根据特定的环境设定阈值参数，在检测过程中将计算得到的用户统计数据与阈值进行比较，以此判断异常。该方法的特征量的选择比较难选取，阈值也比较难确定。本文的方法为了尽量降低误报率，提出了包括报文异常、规模异常以及流异常在内的多种异常，各种异常互补构成更大的异常集合，而且构建了一个普通用户的正常网络行为模型，以此模型来发现更多未知的异常。 　　1）报文异常。 　　TCP/IP协议标准对个协议的报文长度、协议字段、做了严格的规定，并且许多常用服务的端口一般都是固定的。有些恶意程序为了躲避常用检测软件或设备的审查，伪装成常用协议，从而造成正常报文的异常。 　　2）规模异常。 　　规模异常是指在指定的统计间隔内对指定的某些特征量的规模进行统计，然后与正常的阈值进行比较，当统计值超越阈值时则判断为异常，异常程度的度量为与阈值的偏离度。当网内用户被攻击和被扫描时，或者网内大量主机被植入僵尸程序时，短时间内用户的统计数据中会出现某些规模上的激增。我们将规模上的异常分为包数规模异常、IP/PORT规模异常、流量规模异常三类。 　　3）流异常。 　　流异常是指针对流特征进行统计发现的异常，具体包括IP新鲜度异常、流周期性异常、流持续时间异常、进出流量比异常、连接从属关系异常、进入平均包长异常。图1为实验中使用的Gh0st木马的网络周期性，图2为实验统计得到的常用应用的进出流量比。 　　3 用户正常网络行为模型 　　本文中所述用户是指该被保护的局域网中的一台正常使用的网络终端，用户的网络行为是极具规律性的，只要选取恰当的特征量即可尽量完整的描述用户的正常网络行为。本文选取了如下特征来描述用户的正常网络行为。 　　1）活跃时间段。 　　一般的单位是有固定的上下班时间的，因此单位内部用户的网络活跃时间段也是呈现一定的规律的。 　　2）活跃IP-TopK。 　　根据实验分析，由于人访问网络的习惯性，每个网络用户访问度较高的IP是可数的，登录的网站、登录的邮箱、对话的联系人等是可度量的，因此我们可以通过一定的算法建立一个用户的常用IP列表，通过该列表可以发现新鲜度较大的IP地址，这也是发现异常的途径。 　　3）常用域名、邮箱名。 　　每个用户访问的网页、使用的邮箱名是可数的，因此常访问域名和邮箱名也是可以用来描述用户网络行为习惯的特征量，当盗号型木马利用邮箱发送窃取到的秘密数据时使用的邮箱是非常用的。网络型木马用来获得黑客地址的域名也是用户非常用的域名。 　　4）常用服务的IP地址。 　　这个特征量的选择与（1）和（2）的原理是相似的。 　　4 异常检测方法 　　1）碎片重组。 　　IP报文传送过程中当长度超过了中转路由器等设备的最大传输单元（MTU）时会被分片传输，报文到达接收方由协议栈进行重组，因此检测系统接收到报文的首要任务是判断是否为IP分片包，不同IP数据包具有不同标识，因此在实现IP协议重组时采用双向链表来完成对IP分片重组的数