云环境下基于Canopy聚类的FCM算法研究.pdfVIP

第 41卷 第 1lA期 计 算 机 科 学 Vo1．41No．11A 2014年 11月 Computer Science Nov2O14 云环境下基于Canopy聚类的FCM 算法研究 余长俊 张 燃 (武汉理工大学计算机学院 武汉 430063) 摘 要 FCM算法是 目前广泛使用的算法之一。，针对FCM聚类质量和收敛速度依赖于初始聚类中心的问题，结合 Canopy聚类算法能够粗略快速地对数据集进行聚类的优点，提 出了一种基于Canopy聚类的FCM算法。该算法通过 将Canopy算法快速获取到的聚类中心作为FCM算法的输入来加快 FCM算法收敛速度。并在云环境下设计 了其 MapReduce化方案，实验结果表明，MapReduce化的基于Canopy聚类的FCM 算法比MapReduce化的FCM 聚类算 法具有更好的聚类质量和运行速度。 关键词 FCM 算法(模糊均值聚类算法)，聚类，MapReduce，云环境 中图法分类号 TP305 文献标识码 A ResearchofFCM Algorithm BasedonCanopyClusteringAlgorithm underCloudEnvironment YUChang-jun ZHANGRan (DepartmentofComputerScience，W uhanUniversityofTechnology，W uhan430063，China) Abstract FCM algorithm isoneofthewidelyusedalgorithms，butthequalityandconvergencespeedofitdependon thequalityoftheinitialclustercenters．BecauseCanopyalgorithm canquicklyclusterthedatasetandgetthecluster centers，weproposedtheFCM algorithm combiningwithCanopyclusteralgorithm．Thealgorithm acceleratesthecon— vergenceratebymakingtheclusteringcenterobtainedbycanopyalgorithm astheinputofFCM．Thenwedesignedits MapReduceschemein acloud environment．Experimentalresultsshow thattheMapReduceofFCM clusteringalgo rithm basedonCanopyclusteringalgorithm hasbetterclusteringqualityandspeedthanMapReduceofFCM clustering algorithm． Keywords FCM algorithm(FuzzyCMeansalgorithm)，Clustering，MapReduce，Cloudenvironment 传统的对 FCM算法 (模糊均值聚类算法)的研究旨在在 聚类中心，然后利用该聚类 中心作为 FCM 聚类算法的初始 串行化的条件下提高FCM算法的聚类效果，以及提高 FCM 聚类中心进行聚类。 算法的运行速度。随着数据量的增加，计算机的性能就逐渐 根据 Canopy-FCM 算法的思想得出，Canop~FCM 算法 能成为 FCM算法的瓶颈 。 的基本流程分为两个阶段：第一个阶段是使用 Canopy算法 目前，国内外研究者提出了许多对 FCM算法的改进方 将数据集划分为若干个 canopy中心，并将 canopy