一种mapreduce架构下基于遗传算法的k-medoids聚类-云计算论坛.pdfVIP

第 44 卷第3 期 计算机科学 Vo1. 44 NO.3 COMPUTER SCIENCE 岛1ar.2017 2017 年 3 月 一种 MapReduce 架构下基于遗传算法的 K-Medoids 聚类 赖向阳宫秀军韩来明 (天津大学计算机科学与技术学院 天津 300072) (天津市认知计算与应用重点实验室 天津 300072) 摘 要 由互联网时代快速发展而产生的海量数据给传统聚类方法带来了巨大挑战，如何改进聚类算法从而获取有 效信息成为当前的研究热点。 K-Medoids 是一种常见的基于划分的聚类算法，其优点是可以有效处理孤立、噪声点， 但面临着初始中心敏感、容易陷入局部最优值、处理大数据时的 CPU 和内存瓶颈等问题。为解决上述问题，提出了一 种 MapReduce 架构下基于遗传算法的 K-Medoids 聚类。利用遗传算法的种群进化特点改进K-Medoids 算法的初始 中心敏感的问题，在此基础上，利用 MapReduce 并行遗传 K-Medoids 算法提高算法效率。通过带标签的数据集进行 实验的结果表明，运行在 Hadoop 集群上的基于 MapReduce 和遗传算法的 K-Medoids 算法能有效提高聚类的质量和 效率。 关键词 海量数据，K-Medoids ,MapReduce，遗传算法，聚类效率 中固法分类号 TP30 1. 6 文献标识码 A DOI 10. 11896/j. issn. 1002-137X. 2017. 03. 006 Genetic Algorithm ßased K-Medoids Clustering within MapReduce Framework LAI Xiang-yang GONG Xiu-jun HAN Lai-ming (College of Computer Science and Technology ,Tianjin University ,Tianjin 300072 ,China) (Tianjin Key Laboratory of Cognitive Computing and Application ,Tianjin 300072 ,China) Abstract Huge volumes of data are increasing exponentially with the rapid development of Intemet ,which poses signifi- cant challenges to traditional clustering technologies. Thus ,improving the accuracy and computing performance of clus tering has become a research hotspot. As one of the partition-based clustering algorithms ,K-Medoids can effectively deal with the problems with isolate and noise points. However ,it also suffers from problems such as sensitive to initial centers ,easily falling into local optimum ,CPU and memory bottlenecks with big data sets. We proposed a genetic algo rithm based K-Medoids clusterin