基于Hadoop多核果蝇―Kmeans聚类算法.docVIP

基于Hadoop多核果蝇―Kmeans聚类算法 　　摘 要：针对Kmeans算法对海量数据聚类效率过低的不足，基于Hadoop的分布式架构思想，提出一种多核果蝇-Kmeans聚类算法（MKFOA-Kmeans）。以每次迭代后果蝇位置为聚类中心进行一次Kmeans聚类算法，综合了果蝇优化算法强全局搜索能力以及Kmeans算法强局部搜索能力的优点。MapReduce框架简化了算法执行过程，避免了由于存储空间不足而造成的算法失效。在由普通硬件搭建的Hadoop平台下进行仿真实验，表明MKFOA-Kmeans算法对大数据的聚类准确率高，并且随着数据量的增加，聚类效率优势也愈加明显。 　　关键词：大型数据聚类；Hadoop；果蝇算法；多核；Kmeans算法 　　DOI：10.11907/rjdk.172611 　　中图分类号：TP312 　　文献标识码：A 文章编号：1672-7800（2018）004-0051-03 　　Abstract：In order to overcome the disadvantage of low efficiency of massive data clustering of the Kmeans algorithm， a multi-kernel FOA-Kmeans clustering algorithm based on Hadoop is proposed. Using the positions of artificial flys as the clustering center， the new algorithm combines the strong global searching ability of the fly optimization algorithm and the strong local searching ability of the Kmeans algorithm. The MapReduce programming framework simplifies the execution of the algorithm and avoids the failure of the algorithm due to insufficient storage space of computer. Simulations on Hadoop platform constructed by common computers show that MKFOA-Kmeans algorithm has high accuracy for massive data clustering， and the clustering efficiency becomes more obvious with the increase of data. 　　Key Words：massive data clustering； Hadoop； fly optimization algorithm； multiple kernels； Kmeans Algorithm 　　0 引言 　　随着移动互联网等信息科技的快速发展，数据量级呈爆炸式增长，如何挖掘并利用有效数据成为各界关注的热点。聚类是数据挖掘中一个重要的方向，通过无监督学习确定合适的聚类中心，使其类内间距尽量小而类间间距尽量大。Kmeans算法因原理简单、局部搜索能力强等优点而成为经典的聚类算法，但其全局搜索能力较差，容易陷入局部最优值，尤其在对大型数据聚类时效率过低，算法滞慢劣势明显。很多学者对Kmeans算法进行了改进，文献[2]在粒子群算法中引入小概率变异事件，以有效克服Kmeans算法后期收敛速度慢的缺陷。文献[3]将蚁群算法的搜索方向性与Kmeans算法结合，成功应用在系统协同分类中，但搜索速度较慢。文献[4]提出一种基于人工蜂群的Kmeans算法，提高了全局搜索能力，但在处理大型数据时效率较低。近年来，针对海量数据的Kmeans算法改进研究越来越多，文献[5]提出了基于Hadoop平台的Canopy和Kmeans混合算法，在处理大型新闻数据时取得了较好的效果。文献[6]提出一种基于改进蜂群的Kmeans算法，在Hadoop平台下运行具有良好的可扩展性。 　　果蝇算法是一种基于生物学仿生的新型智能优化算法，具有参数少、收敛快、全局搜索能力强等优点，目前已经成功应用在函数优化、纺丝性能预测[7]、作业车间调度[8]、变压器故障诊断[9]等领域。本文采用自适应步长改进果蝇算法与Kmeans算法结合，根据MapReduce编程模型设计适合在Hadoop平台运行的算法流程，综合了果蝇算法的强全局搜索能力，Kme