基于Spark框架的并行聚类算法.PDFVIP

第27卷摇 第5期 计 算机 技 术 与发 展 Vol.27摇 No.5 2017年5月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 May 摇 2017 基于Spark框架的并行聚类算法 1 2 1 1 1 李淋淋 ,倪建成 ,曹摇 博 ,于苹苹 ,姚彬修 (1.曲阜师范大学信息科学与工程学院,山东 日照 276826; 2.曲阜师范大学软件学院,山东曲阜 273100) 摘摇 要:针对传统 -means算法在处理海量数据时存在距离计算瓶颈及因迭代计算次数增加导致内存不足的问题,提出 K 了一种基于Spark框架的SBTICK-means (Spark Based Triangle Inequality Canopy- -means)并行聚类算法。 为了更好地 K 解决 值选取的盲目性和随机性的问题,该算法利用Canopy进行预处理得到初始聚类中心点和 值;在 -means迭代计 K K K 算过程中进一步利用距离三角不等式定理减少冗余计算、加快聚类速度,结合 Spark框架实现算法的并行化,充分利用 Spark的内存计算优势提高数据的处理速度,缩减算法的整体运行时间。 实验结果表明,SBTICK-means算法在保证准确 率的同时大大提高了聚类效率,与传统的 -means算法、Canopy- -means算法和基于MapReduce框架下的该算法相比, K K 在加速比、扩展比以及运行速率上都有一定的提高,从而更适合应用于海量数据的聚类研究。 关键词: -means;Spark;大数据;Hadoop;MapReduce K 中图分类号:TP301.6摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2017)05-0097-05 doi:10.3969/j.issn.1673-629X.2017.05.021 Parallel Clustering Algorithm with Spark Framework 1 2 1 1 1 LI Lin-lin ,NI Jian-cheng ,CAO Bo ,YU Ping-ping ,YAO Bin-xiu (1.College of Information Science and Engineering,Qufu Normal University,Rizhao276826,China; 2.College of Software,Qufu Normal University,Qufu273100,China) Abstract:Inviewoftheissuesthatwhenprocessingmassivedata,traditionalK-meansalgorithmhasthebottlenecksofdistancecomputa鄄 tion andcausesmemo