基于MapReduce的并行聚类算法设计与实现.pdfVIP

第31卷第 11期 计算机应用与软件 Vol_31 No．11 2014年 11月 ComputerApplicationsandSoftware NOV．2014 基于MapReduce的并行聚类算法设计与实现 刘向东 刘 奎 胡飞翔 王翠荣 (东北大学秦皇岛分校计算机与通信工程学院 河北 秦皇岛066004) (东北大学信息工程学院 辽宁沈阳110000) 摘 要 针对 目前聚类算法对大数据处理效率较低的问题，研究云平台上高效并行化的聚类算法十分必要。在 HDFS分布式文 件系统基础上，设计一种并行聚类算法P-ISODATA，利用 MapReduce编程框架的执行机制将传统ISODATA聚类算法并行化，并在 Map阶段之后加入Combine阶段以减少网络传输开销，进一步提高执行效率。实验从著名UCI机器学习库上选取若干数据集作为 测试数据，分析 了新并行算法P-ISODATA性能，结果表明基于p-ISODATA算法具有优良的加速 比、数据伸缩率和扩展率，可以有效 地应用于大规模数据的处理。 关键词 大数据 聚类算法 云平台 并行处理 MapReduce 中图分类号 TF391 文献标识码 A DOI：10．3969／j．issn．1000-386X．2014．11．064 DESIGN AND IMPLEMENTATIoN oF PARALLEL CLUSTERING ALGoRITHM BASED oN MAPREDUCE LiuXiangdong LiuKui HuFeixiang WangCuirong (CollegeofComputerandCommunicationEngineering，NortheasternUniversity，Qinhuangdao066004，Hebei，China) 。(CollegeofInformationEngineering，NortheasternUniversity，Shenyang110000，Liaoning，China) Abstract Inlightoftheproblem thatcurrentclusteringalgorithmsaleinefficientinefficiencywhenprocessingbigdata，itisnecessaryto studyefficientparallelclusteringalgorithmsoncloudplaftorm．Wedesignanew parallelclusteringalgorithm P-ISODATA based on HDFS (Hadoopdistributedfilesystem)，itparallelisestraditionalISODATAclusteringalgorithmbyutilisingtheexecutionmechanismofMapReduce programmingframework，andintroducesCombinephasefollowing behind theMapphasetoreducenetworktransmission overhead nadto furtherimprovetheexecutionefficiency．Inexperimentsweselectdifferentdatasetsfrom famousUCImachinelearningrepositoryasthetesting data，andnaalysetheperfomr anceofP—ISODATA algorithm．Resultsshow thatP—ISODATA—basedalgorithm hasgoodspeed—upratio，data scale—uprateandsize-upratio，htereforeitCna