基于动态网格数据流聚类分析.docVIP

基于动态网格数据流聚类分析 　　 (国防科学技术大学 信息系统与管理学院， 长沙 410073) 　　?? 　　摘要：提出的增量式数据流聚类算法DGCDS结合网格和密度技术，能够得到任意形状的聚类，通过改进网格密度的计算方式，解决了现有网格算法中丢失数据空间影响信息的问题,并且实现了关键参数的自适应设置，减小了人工参数对聚类结果的影响。 　　?す丶?词：动态网格； 网格密度； 数据流聚类； 聚类参数 　　?ぶ型挤掷嗪牛?TP391文献标志码：A 　　文章编号：1001-?B3695(2008)11-?B3281-?B04 　　?? 　　Dynamic grid-based clustering over data stream 　　?? 　　HE Yong, LIU Qing-bao 　　?? 　　(College of Information System Management, National University of Defense Technology, Changsha 410073, China) 　　?? 　　Abstract:This paper presented an incremental data stream clustering algorithm(DGCDS) based on grid and density,which discovered clusters with arbitrary shape. It solved a problem that losing space influence of data in some of grid-based algorithms with improving the method of density calculation, and this algorithm also set key parameter automatically to reduce the influence of factitious parameter. 　　??Key words：dynamic grid; grid density; datastream clustering; clustering parameter 　　?お? 　　0引言?? 　　 随着硬件技术的飞速发展，人们获取数据的能力越来越高，获取数据的领域越来越广，数据形态也从静止的数据转为海量、源源不断的数据流数据。比如通信领域的通话记录数据流、网络监控中的数据包流，金融领域和零售企业的交易数据流，以及近几年发展起来的传感器网络等产生的大量数据流。?? 　　 数据流一经提出就引起了研究者的广泛关注。目前，数据流研究大致可分为两个方面：数据流管理系统(data stream management system,DSMS)和数据流挖掘[1]。数据流聚类由于在网络监控、银行交易数据分析等方面的重要应用价值而成为数据流挖掘的一个重要研究方向，已提出多种一次性扫描聚类算法，如STREAM算法[2]、CluStream算法[3]和HPStream算法[4]，以及基于它们的一些衍生算法。但总的来说，现有数据流算法基本上都是对静态数据集算法的改进。?? 　　 　　1相关研究?? 　　 数据流的特性要求算法必须是内存限制下的实时增量更新算法。第一个增量更新聚类算法是用于数据仓库的IncrementalDBSCAN算法[5]，然而该算法仅适用于处理数据仓库这种相对稳定的数据流，不能处理变化很快的数据流。同时为了得到任意形状的聚类，要求获得整个数据流的信息，这在内存有限的情况下是无法做到的。L.OCallaghan等人[2]提出的STREAM算法采取分而治之(divide and conquer)的思想，将数据流划分为多个段，算法对每段分别聚类。该算法在整个数据流上进行计算，每次都要积累一定数目的数据后才进行处理，是一个数据流上的静态算法，因此不能反映出数据流的变化情况。Aggarwal等人[3]提出的CluStream算法将数据流聚类分为在线聚集和离线分析两部分。在线过程对数据流进行初级聚类；离线过程根据用户需求对在线得到的初级聚类进行分析。在此基础上，Aggarwal等人[4]在2004年又提出了HPStream算法。该算法采用投影的方式解决数据流的高维聚类问题，动态地选择使聚类体积最小的那些维与聚类关联，实现了一个子空间的聚类算法，并使用衰减因子随时间推移不断衰减历史数据，并在聚类数目过多时，删除最早加入的聚类。CluStream和HPStream算法都采用了K-means思想，得到的聚类结果通常都是球形的，不能得到任意形状的聚类。朱蔚恒等人[6]提出基于密度与空