基于近邻传播的分布式数据流聚类算法.pdfVIP

JournalofComputerApplications ISSN 1001—9081 2013．09。01 计算机应用，2013，33(9)：2477—2481 CODENJYIIDU http：／／www．joca．cn 文章编号 ：1001—9081(2013)09—2477—05 doi：10．11772／j．issn．1001—9081．2013．09．2477 基于近邻传播的分布式数据流聚类算法 张建朋 ，金 鑫 ，陈福才 ，陈鸿昶 ，侯 颖 (1．国家数字交换系统工程技术研究中心，郑州450002； 2．国家计算机网络与信息安全管理中心，北京 100031) (}通信作者电子邮箱zhangjianpengO309@gmail．corn) 摘 要：针对分布式数据流聚类算法存在的聚类质量不高、通信代价大的问题，提 出了密度和代表点聚类思想相 结合的分布式数据流聚类算法。该算法的局部站点采用近邻传播聚类，引入 了类簇代表点的概念来描述局部分布的 概要信息，全局站点采用基于改进的密度聚类算法合并局部站点上传的概要数据结构进而获得全局模型。仿真实验 结果表明，所提算法能明显提高分布式环境下数据流的聚类质量，同时算法使用类簇代表点能够发现不同形状的聚 簇并显著降低数据传输量。 关键词 ：数据挖掘 ；分布式聚类 ；数据流 ；近邻传播 ；基于密度聚类 中图分类号：TP181自动推理、机器学习 文献标志码：A Distributeddatastream clusteringalgorithm basedonaffi nitypropagation ZHANGJianpeng ，JINXin ，CHEN Fucai，CHENHongchang。，HOUYing (1．ChinaNationalDigitalSwitchingSystemEngineeringandTechnologicalRDCenter，ZhengzhouHenan450002，China； 2．NationalComputerNetworkandInformationSecurityAdministrationCenter,Beng100031，China) Abstract：Astothelowclusteringqualityandhighcommunicationcostoftheexisteddistributedclusteringalgorithm，a distributeddatastream clusteringalgorithm (DAPDC)whichcombinedthedensitywiththeideaofrepresentativepoints clusteringwasproposed．Theconceptoftheclassclusterrepresentativepointtodescribethelocaldistributionofdataflowswas introducedinthelocalsitesusingaffinitypropagationclustering，whiletheglobalsitegottheglobalmodelbymergingthe summarydatastructurethatwasuploadedfrom thelocalsitebytheimproved densityclusteringalgorithm．Thesimulation resultsshow thatDAPDC can improve the clustering quality of data streams in distributed environmentsignificantly． Simultaneously，thealgorithm canfindtheclustersofdifferentshapesandreducethe