基于网格和聚类流数据孤立点挖掘.docVIP

基于网格和聚类流数据孤立点挖掘 　　[摘 要]在数据挖掘中,对于数据源中的孤立点的研究可以用于网络攻击、欺诈检测等领域。而Internet的广泛使用使得大量数据以时序性的流的形式存在。针对传统数据挖掘对流数据孤立点挖掘应用中所遇到的问题,文中提出了一个基于改进的距离和密度的孤立点挖掘算法。实验证明,该算法能够有效地检测到流数据中的局部孤立点,从而捕捉到数据流上的概念漂移,能更好地应用于实际。 　　[关键词]孤立点 流数据 概念漂移 聚类 网格 　　[中图分类号]TP311 [文献标识码]A [文章编号]1007-9416(2010)07-0182-01 　　 　　1 引言 　　随着高速大规模网络的迅速发展,在高速网络环境下的访问记录数据往往以流的形式出现,我们称这样的数据为流数据。即流数据有着以下特性[1]:在短时间内有大量数据到达;数据或数据的摘要信息必须按照顺序存取且只能被读取一次或有限次,不能随机存取;时序性;在应用领域中的数据流往往又是高维的。由于数据流动态的特殊性,对流数据进行迅速处理以获取有用信息就带来了新的机遇和挑战。处理数据流最主要的挑战是使用有限的存储空间和算法的快速运行,即要求算法高效甚至是实时的和使用有限的存储空间。显然,传统的数据挖掘算法难以满足这种要求。 　　在数据挖掘中,经常存在一些数据对象,它们不符合数据的一般模型。这样的数据对象被称为孤立点。孤立点是在数据集中与众不同的数据,使人怀疑这些数据并非随机偏差,而是产生于完全不同的机制[2]。另外,孤立点也可能是固有的数据变异性的结果。许多数据挖掘算法试图使孤立点的影响最小化,直接在数据预处理中剔除掉数据源中的孤立点。但是由于这些数据可能是噪声的同时也可能隐藏了特定价值的信息,比如网络攻击。一味地采用剔除这可能导致某些重要的隐藏信息的丢失[3]。在数据挖掘中,对待数据集中的孤立点有两种策略:一种是将它们作为噪声而从数据集中清洗出去;另一种则将它们作为研究对象,称为孤立点探测。由于网络上的大多数数据类型都为流数据,所以本文在流数据上对其孤立点数据进行挖掘。 　　本文提出了一个基于流数据的改进的距离和密度的孤立点挖掘算法。本文所做工作: 　　(1)数据预处理:对于流数据中的高维数据,利用网格技术进行降维处理。 　　(2)改进基于距离聚类算法:针对现有基于距离的聚类挖掘算法,加入了密度探测从而解决了基于距离聚类算法中易出现的孤立点虚警和孤立点漏报现象。 　　(3)算法捕获的是局部孤立点,有效地避免了流数据的“概念漂移”对探测算法的影响。 　　 　　2 基本概念 　　本文将讨论对流数据进行孤立点挖掘,前面我们讲到了孤立点是数据集中的不满足数据集的一般数据模型的数据对象。而这只是给出了一个概念上的定义,具体在实际的应用中我们需要的是一个已量化的对象。在文中后面的试验中我们将具体涉及到特定孤立点的定义。 　　在孤立点的探测过程中,我们需主要考虑一下两个问题:一是孤立点的量化,针对特定的应用环境和数据集而不同。二是孤立点的探测算法,即设置对数据集的扫描算法和对孤立点的判定算法,本文中综合考虑了流数据的特点和数据天生的聚类性[4],即算法要考虑实时性、低空间复杂度等要求。分别采用了滑动时间窗口和基于距离的密度的聚类算法来进行数据集的扫描和孤立点探测。 　　2.1 流数据概要数据结构 　　概要数据结构(Synopsis Data Structure)是算法为支持目标计算而在内存中保存的数据流数据的压缩信息。概要数据结构主要的构造方法有抽样技术、小波变换、直方图技术、哈希方法、梗概技术等。 　　2.2 滑动窗口技术 　　滑动窗口技术是通过在内存中创建滑动窗口来保存最近一段时间内到达的数据流数据集合,以实时地支持连续查询或挖掘。用户事先指定窗口大小。假设窗口的大小为,在任一时间点,滑动窗口的时间范围是,时间点之前的数据全部忽略不计。目前的研究成果主要有指数直方图技术、基本窗口技术和链式抽样技术。在文中主要用基本窗口技术来维护概要数据结构.即将大小为的滑动窗口按时间序列划分个等宽的子窗口(个元素),并且由一个摘要表示其窗口的特征。 　　2.3 网格 　　本文假定输入数据是维的,每个输入的数据都定义在空间P中: 　　(其中是维方向的定义空间)(1) 　　将维空间划分为若干距离远近网格.假定对每一维,它的相应空间被划分为段,则: 　　 (2) 　　这样数据空间就被划分为个网格.对每个网格,都可以表示为:,其中 　　 (3) 　　若网格内没有数据点,我们称之为空网格,否则为非空网格。 　　用来表示一个网格。其中:-网格内的数据量、网格的密度、-网格的质心、-权值、-网格的类别,取值为稠密或稀疏。 　　2.4 概念漂移