基于MapReduce的Canopy-Kmeans改进算法-计算机工程与应用.PDF

22 2012 ，48 （27 ） Computer Engineering and Applications 计算机工程与应用 基于MapReduce 的Canopy-Kmeans 改进算法 毛典辉 MAO Dianhui 北京工商大学 计算机与信息工程学院，北京 100048 School of Computer and Information Engineering, Beijing Technology and Business University, Beijing 100048, China MAO Dianhui. Improved Canopy-Kmeans algorithm based on MapReduce. Computer Engineering and Ap- plications, 2012, 48 （27 ）：22-26. Abstract ：In order to solve the problem that how to void random Canopy selection of Canopy-Kmeans algorithm, this paper introduces an improved algorithm based on the minimum and maximum principle and realizes processing massive data based on MapReduce framework. Meanwhile, the algorithm is carried out in massive Internet news ag- gregation. The experiments show that the strategy of Canopy selection based on the minimum and maximum princi- ple has higher classification accuracy and noise immunity compared to random strategy. Key words ：Canopy-Kmeans; MapReduce; distributed aggregation 摘 要：针对分布式Canopy-Kmeans 算法中Canopy 选取的随机性问题，采用“最小最大原则”对该算法进行了 改进，避免了Cannopy 选取的盲目性；采用MapReduce 并行计算框架对算法进行了并行扩展，使之能够充分利 用集群的计算和存储能力，从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景，对改 进后的算法进行了实验分析。实验结果表明：该方法较随机挑选Canopy 策略在分类准确率以及抗噪能力上都 明显提高，而且在处理海量数据时表现出较大的性能优势。 关键词：Canopy-Kmeans 算法；MapReduce；分布式聚类 文章编号：1002-8331（2012 ）27-0022-05 文献标识码：A 中图分类号：TP301 1 引言 算效率较高等优点，因此成为应用最为广泛的分布 聚类是按照“物以类聚”的思想将数据集合分成 式聚类算法。Canopy-Kmeans 是一种对K-means 优 若干类或簇，使得每个簇中的数据最大程度得相似， 化的聚类算法，引入Canopy 后，每次只比较落在同一 [1] 区域内对象与中心点之间的距离，通过减少比较次 属于一种无监督的学习过程 。当前绝大多数聚类 算法适用于集中式数据的处理，算法效率受限于单 数大大降低整个聚类的运行时间，提高了算法的计 [7] 机处理能力，面对日益增长的分布式存储的海量信 算效率 。算法在实际应用中需预先设置聚类的初 息，现有的聚类算法均存在着伸缩性与扩展性较差 始种子点（初始Canopy 中心点）、聚类个数k （Canopy [2] 个数）、Canopy 区域大小等初始值，初始值选取的好 等问题 ，因此由多台计算机共同参与计算的分布式 聚类算法成为当前聚类算法的