基于联合数据挖掘网络异常检测系统研究.docVIP

基于联合数据挖掘网络异常检测系统研究 　　摘要：网络攻击日趋隐蔽和复杂化，传统的检测方法具有很大的局限性。该文提出将网络管理中故障管理和性能管理相结合，根据目前网络中可获得的丰富的数据进行联合挖掘，能够全面发现网络中存在的问题。 　　关键词：数据挖掘 异常检测 网络管理 　　中图分类号：TP274 文献标识码：A 文章编号：1674-098X（2013）01（b）-000-03 　　随着目前网络环境越来越复杂，网络攻击形式越来越多样，如何维持网络性能的稳定成为网络管理的一个难题。现实中引起网络异常的原因有很多，典型的有：网络设备故障、网络过载、恶意的拒绝服务和网络入侵等等。如何发现这些异常一直是研究的热点问题。然而网络异常的发现依赖于可获得的网络数据及其分析。一般情况下，网络中可获得数据包括：网络设备的告警日志、网络设备的Trap消息、网络流量数据和基于简单网络管理协议（SNMP）获得的相关MIB的数据。我们假设“网络异常能够在异常事件发生之前或发生时被一些相关的瞬时变化所刻画”，所以通过对这些数据的分析一般都能发现与异常相关的信息。[1]在此之前已经有专家在这方面进行了一些有创造性的工作。1997年Mika Klemettinen等人提出了“频繁情节（frequent episode）”的概念[2]，在1999年提出了将频繁情节挖掘的方法应用于电信网的告警数据分析中，用来自动提取规则，并实现了一个“电信网告警序列分析器（TASA）”的电信网故障管理系统[3]（见图1）。 　　在流量异常分析方面，目前在入侵检测系统中研究的较多。主要包括基于行为（异常检测）和基于知识（误用检测）两类[4]。基于知识的检测一般是在对已知攻击特点进行分析的基础上提出规则，然后根据这些规则进行检测，特点是速度慢，准确度高，但对于未知的攻击无能为力。基于行为的检测一般是以统计的方法来分析某一网络的流量特点，建立相应的数学模型，然后根据定义的模型来预测异常。这种方法的特点是速度快，对未知的攻击也能预测，但误报率较高。 　　告警日志的挖掘是网络管理的故障管理方面的内容，而流量异常分析则涉及性能管理方面的内容。在实际中往往存在相关性，例如???些设备的故障会导致整个网络性能的下降，而某些流量引起的网络拥塞则极有可能会引起网络设备的故障。并且在当前网络复杂性日趋增加的情况下，只有将各方面的数据结合起来，从不同的角度进行分析，才能取得更好的效果。因此，我们将网络中的各种数据联合起来进行分析，用来更好的发现各种网络异常。 　　1 联合数据挖掘系统的设计 　　1.1 数据挖掘简介 　　数据挖掘是从大量的、有噪声的数据中提取出事先并不知道的信息的过程，这种信息往往是以模式、趋势和结构的形式呈现的[5]。它包含多种技术如数据库管理、机器学习、统计、并行处理和可视化等。它一般分为一下几个步骤：①数据清洗，清除噪声或不一致的数据；②数据集成，多种数据源可以组合在一起；③数据选择，从数据库中选择与分析任务相关的数据；④数据变换，转换成适合挖掘的形式；⑤数据挖掘，使用智能方法提取数据模式⑥模式评估，识别表示知识的模式；⑦知识表示，向用户呈现获取的知识。 　　通常根据不同的目的选择不同的分析方法。数据挖掘中常用的分析方法有：关联分析、频繁情节分析、聚类分析、分类、回归等。在我们的系统中用到了关联分析、频繁情节分析、分类和聚类分析的方法。 　　1.2 网络数据的获取 　　获取正确类型的网络数据对于异常检测是必需的。被检测的异常的类型依赖于可获取的网络数据。目前获取网络数据的方法有如下几种： 　　(1）网络设备的告警日志 　　网络设备（如交换机、路由器、服务器等）在运行过程总都会产生大量的日志，这些日志中包含了用户的异常行为：例如对设备的非授权访问、路由器或交换机的某个端口链路异常、DHCP服务器分配地址失败等等。对这些数据的分析对于发现R2L，U2R等攻击非常有效。 　　(2）基于简单网络管理协议获得的相关数据 　　简单网络管理协议的MIB中提供了网络中被管设备的大量的信息。例如MIB-II中的interface组中的信息提供了被管设备的端口的流量的详细统计情况[6]，通过对交换机或路由器的这些统计信息的获取，可以知道具体端口的流量情况。对这些数据的分析可以发现分布式拒绝服务（DDoS）攻击等以损耗带宽为目的的攻击。但是这类数据只是提供统计以后的信息，对于转发的具体IP分组的信息不记录。 　　(3）IP分组捕获 　　目前捕获IP分组的信息的方法有两种：一种是CISCO的Netflow[7]：Netflow是CISCO基于流测量的专有技术，其性能高，且能适应100?m带宽的需求，而且其独有的流归并的方法，使得统计更加简单，且效率更高。目前已经广泛