基于MapReduce的随机抽样K-means算法-计算机工程与应用.PDF

74 2016 ，52（8） Computer Engineering and Applications 计算机工程与应用 基于MapReduce 的随机抽样K-means 算法 王永贵，武 超，戴 伟 WANG Yonggui, WU Chao, DAI Wei 辽宁工程技术大学，辽宁 葫芦岛 125105 Liaoning Technical University, Huludao, Liaoning 125105, China WANG Yonggui, WU Chao, DAI Wei. K-means algorithm of random sample based on MapReduce. Computer En- gineering and Applications, 2016, 52 （8 ）：74-79. Abstract ：The K -means algorithm when dealing with massive data, is easy to bring the phenomenon of memory overflow. Although this problem is solved by using the MapReduce framework to improve K -means, the phenomenon clustering effect is not so stable and the accuracy is not so high. It is necessary to raise an improved algorithm, which uses MapReduce framework to implement the K -means , by means of random sampling, calculating density, distance and the square differ- ence. Finally, it selects the best initial cluster center and adopts the new method of center point calculation in the itera- tion. Experimental results show that, the improved algorithm has good stability ，accuracy and accelerating ratio. Key words ：K -means; random sampling; massive data; MapReduce 摘 要：K -means 算法处理海量数据时，易产生系统内存溢出的现象。利用MapReduce 框架改进K -means 虽然解决 了这个问题，但也存在着聚类效果不稳定以及准确率不高等问题，提出一种改进算法，利用MapReduce 框架实现 K -means 时，采用多次随机抽样，通过计算密度、距离与平方误差等方法，最终选取较优的初始聚类中心，并在迭代中 采用新的中心点计算方法。实验结果证明，改进后的算法具有较好的稳定性、准确性和加速比。 关键词：K -means；随机抽样；海量数据；MapReduce 文献标志码：A 中图分类号：TP301 doi ：10.3778/j.issn. 1002-8331.1407-0088 1 引言 对此，许多研究员提出了解决办法，文献[2]用MapReduce 随着网络技术的不断发展和各种应用爆炸式增长， 模型实现传统的K -means 算法，用来处理大量数据。文 产生的数据量也急速膨胀，使用传统的单机存储和串行 献[3]对分布式Canopy-Kmeans 算法采用“最大最小”原 数据挖掘算法已经无法在有效时间内发现重要信息，而 则对该算法进行改进。文献[4]提出了基于MapReduce 云计算具有海量的存储能力和弹性化的计算能力，在数 的ACO-K -means 并行聚类算法，针对K -means 算法处理 据挖掘领域逐渐发挥出优势。聚类分析的重要特征是 海量数据存在的内存不足，提出利用MapReduce