基于联合数据挖掘网络异常检测系统探究.docxVIP

基于联合数据挖掘网络异常检测系统探究 摘要：网络攻击日趋隐蔽和复杂化，传统的检测方 法具有很大的局限性。该文提出将网络管理中故障管理和性 能管理相结合，根据目前网络中可获得的丰富的数据进行联 合挖掘，能够全面发现网络中存在的问题。 关键词：数据挖掘异常检测网络管理 中图分类号：TP274文献标识码：A文章编号： 1674-098X (2013) 01 (b) -000-03 随着目前网络环境越来越复杂，网络攻击形式越来越多 样，如何维持网络性能的稳定成为网络管理的一个难题。现 实中引起网络异常的原因有很多，典型的有：网络设备故障、 网络过载、恶意的拒绝服务和网络入侵等等。如何发现这些 异常一直是研究的热点问题。然而网络异常的发现依赖于可 获得的网络数据及其分析。一般情况下，网络中可获得数据 包括：网络设备的告警日志、网络设备的Trap消息、网络 流量数据和基于简单网络管理协议(SNMP)获得的相关MIB 的数据。我们假设“网络异常能够在异常事件发生之前或发 生时被一些相关的瞬时变化所刻画”，所以通过对这些数据 的分析一般都能发现与异常相关的信息。［1］在此之前已经 有专家在这方面进行了一些有创造性的工作。1997年Mika Klemettinen 等人提出 了 “频繁情节(frequent episode) 的概念［2］,在1999年提出了将频繁情节挖掘的方法应用于 电信网的告警数据分析中，用来自动提取规则，并实现了一 个‘电信网告警序列分析器（TASA） ”的电信网故障管理系 统［3］（见图l）o 在流量异常分析方面，目前在入侵检测系统中研究的较 多。主要包括基于行为（异常检测）和基于知识（误用检测） 两类［4］。基于知识的检测一般是在对已知攻击特点进行分 析的基础上提出规则，然后根据这些规则进行检测，特点是 速度慢，准确度高，但对于未知的攻击无能为力。基于行为 的检测一般是以统计的方法来分析某一网络的流量特点，建 立相应的数学模型，然后根据定义的模型来预测异常。这种 方法的特点是速度快，对未知的攻击也能预测，但误报率较 高。 告警日志的挖掘是网络管理的故障管理方面的内容，而 流量异常分析则涉及性能管理方面的内容。在实际中往往存 在相关性，例如某些设备的故障会导致整个网络性能的下 降，而某些流量引起的网络拥塞则极有可能会引起网络设备 的故障。并且在当前网络复杂性日趋增加的情况下，只有将 各方面的数据结合起来，从不同的角度进行分析，才能取得 更好的效果。因此，我们将网络中的各种数据联合起来进行 分析，用来更好的发现各种网络异常。 1联合数据挖掘系统的设计 1.1数据挖掘简介 数据挖掘是从大量的、有噪声的数据中提取出事先并不 知道的信息的过程，这种信息往往是以模式、趋势和结构的 形式呈现的［5］。它包含多种技术如数据库管理、机器学习、 统计、并行处理和可视化等。它一般分为一下几个步骤：① 数据清洗，清除噪声或不一致的数据；②数据集成，多种数 据源可以组合在一起；③数据选择，从数据库中选择与分析 任务相关的数据；④数据变换，转换成适合挖掘的形式；⑤ 数据挖掘，使用智能方法提取数据模式⑥模式评估，识别表 示知识的模式；⑦知识表示，向用户呈现获取的知识。 通常根据不同的目的选择不同的分析方法。数据挖掘中 常用的分析方法有：关联分析、频繁情节分析、聚类分析、 分类、回归等。在我们的系统中用到了关联分析、频繁情节 分析、分类和聚类分析的方法。 1.2网络数据的获取 获取正确类型的网络数据对于异常检测是必需的。被检 测的异常的类型依赖于可获取的网络数据。目前获取网络数 据的方法有如下几种： 网络设备的告警日志 网络设备(如交换机、路由器、服务器等)在运行过程 总都会产生大量的日志，这些日志中包含了用户的异常行 为：例如对设备的非授权访问、路由器或交换机的某个端口 链路异常、DHCP服务器分配地址失败等等。对这些数据的分 析对于发现R2L, U2R等攻击非常有效。 基于简单网络管理协议获得的相关数据 简单网络管理协议的MIB中提供了网络中被管设备的大 量的信息。例如MIBTI中的interface组中的信息提供了 被管设备的端口的流量的详细统计情况[6],通过对交换机 或路由器的这些统计信息的获取，可以知道具体端口的流量 情况。对这些数据的分析可以发现分布式拒绝服务(DDoS) 攻击等以损耗带宽为目的的攻击。但是这类数据只是提供统 计以后的信息，对于转发的具体IP分组的信息不记录。 IP分组捕获 目前捕获IP分组的信息的方法有两种：一种是CISCO 的Netflow[7] ： Netflow是CISCO基于流测量的专有技术， 其性能高，且能适应100?m带宽的需求，而且其独有的流归 并的方法，使得统计更加简单，且效率更高。目前已经广泛 应用