kmeans聚类算法的MapReduce并行化实现.doc

2012-07ｋ-1－ｍ3#ｅ#ａ#ｎ#ｓ############2012Ｍ-0ａ7ｐ-Ｒ1ｅ3ｄ#ｕ#ｃ#ｅ##2#0#1#2-07-13######## 江小平１ 李成华１ 向 文２ 张新访２ 颜海涛３ （１ 中 南 民 族 大 学 电 子 信 息 工 程 学 院 ，湖 北 武 汉 ４３００７４；２ 华中科技大学计 算 机 科 学与技术 学 院 ，湖 北 武 汉 ４３００７４；３ 中国 移动通信集团湖北有限公 司 业 务 支撑中心 ，湖 北 武 汉 ４３００４０） 摘要 针对ｋ－ｍｅａｎｓ聚类算法特点，给出了 ＭａｐＲｅｄｕｃｅ编程模型实现ｋ－ｍｅａｎｓ聚类算法的方法，Ｍａｐ 函数完 成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别，Ｒｅｄｕｃｅ函数根据 Ｍａｐ 函数得到的中间 结果计算出新的聚类中心，供下一轮 ＭａｐＲｅｄｕｃｅＪｏｂ使用．实验结果表明：ｋ－ｍｅａｎｓ算法 ＭａｐＲｅｄｕｃｅ并行化后 部署在 Ｈａｄｏｏｐ集群上运行，具有较好的加速比和良好的扩展性． 关键词 云计算；并行计算；ＭａｐＲｅｄｕｃｅ模型；数据挖掘；ｋ－ｍｅａｎｓ聚类算法 中图分类号 文献标志码 文章编号 １６７１－４５１２（２０１１）Ｓ１－０１２０－０５ ＴＰ３０１ Ａ Ｐａｒａｌｌｅｌｉｍｐｌｅｍｅｎｔｉｎｇｋ－ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇｍｏｄｅ ＪｉａｎｇＸｉａｏｐｉｎｇ１ ＬｉＣｈｅｎｇｈｕａ１ Ｘｉａｎｇ Ｗｅｎ２ ＺｈａｎｇＸｉｎｆａｎｇ２ Ｙａｎ Ｈａｉｔａｏ３ （１ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，Ｓｏｕｔｈ－ＣｅｎｔｒａｌＵｎｉｖｅｒｓｉｔｙｆｏｒＮａｔｉｏｎａｌｉｔｉｅｓ，Ｗｕｈａｎ ４３００７４，Ｃｈｉｎａ；２ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ， Ｗｕｈａｎ４３００７４，Ｃｈｉｎａ；３ＢｕｓｉｎｅｓｓＳｕｐｐｏｒｔＣｅｎｔｅｒ，Ｃｈｉｎａ ＭｏｂｉｌｅＧｒｏｕｐ ＨｕｂｅｉＣｏ．Ｌｔｄ．，Ｗｕｈａｎ４３００４０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｈｏｗｔｏｉｍｐｌｅｍｅｎｔｔｈｅｋ－ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇ ｍｏｄｅ ｗａｓｓｔｕｄｉｅｄ．ＴｈｅｄｉｓｔａｎｃｅｂｅｔｗｅｅｎｅａｃｈｐｏｉｎｔａｎｄｅａｃｈｃｌｕｓｔｅｒｗａｓｃａｌｃｕｌａｔｅｄａｎｄｎｅｗｃｅｎｔｅｒＩＤ ｗａｓ ａｓｓｉｇｎｅｄｔｏｅａｃｈｐｏｉｎｔｉｎｔｈｅ Ｍａｐｆｕｎｃｔｉｏｎ．Ａｌｌｔｈｅｐｏｉｎｔｓｏｆｔｈｅｓａｍｅｋｅｙｖａｌｕｅ （ｃｕｒｒｅｎｔｃｌｕｓｔｅｒＩＤ） ｗｅｒｅｓｅｎｔｔｏａｓｉｎｇｌｅｒｅｄｕｃｅｒａｎｄｇｅｔｔｈｅｎｅｗｃｌｕｓｔｅｒｃｅｎｔｒｏｉｄｓｆｏｒｔｈｅｎｅｘｔＭａｐＲｅｄｕｃｅＪｏｂ．Ｔｈｅｅｘ－ ｐｅｒｉｍｅｎｔｓｏｎｔｈｅＨａｄｏｏｐｐｌａｔｆｏｒｍｓｈｏｗｎｓｂａｓｉｃａｌｌｙｌｉｎｅａｒｓｐｅｅｄｕｐｗｉｔｈａｎｉｎｃｒｅａｓｉｎｇｎｕｍｂｅｒｏｆｎｏｄｅ ｃｏｍｐｕｔｅｒｓａｎｄｇｏｏｄｓｃａｌａｂｉｌｉｔｙ． Ｋｅｙｗｏｒｄｓ ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ；ＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇ ｍｏｄｅ；ｄａｔａ ｍｉｎｉｎｇ；ｋ－ ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ 随着 信 息 技 术 的 进步以及信息化社会的发 展，聚类计算任务所面临的数据规模越来越大，ｋ－ ｍｅａｎｓ算法是一种 常 用 的 数 据 挖 掘 算 法，其 串 行 计算方法的时间复杂度比较高，处理能力存在局 限 性．传 统 高 性 能 计 算 中 的 并 行 编 程 模 型 （如 ＰＴｈｒｅａｄ，ＭＰＩ和 ＯｐｅｎＭＰ 等）抽象度不高，开发 人员 需要熟悉 底层的配置和并行 实 现 细 节． ＭａｐＲｅｄｕｃｅ模型［１］是 Ｇｏｏｇｌｅ 实 验 室 提 出 的 分 布 式并行编程模型或框架，它能组织集群来处理大 规模数据集，成为云计算平台主流的并行数据处 理 模 型．Ａｐａｃｈｅ 开 源 社 区 的 Ｈａｄｏｏｐ 项 目［２］ 用 ｊａｖａ语言 实 现 了 该 模 型，同 时 Ｈａｄｏｏｐ 项 目 还 设 计了开放源代码的云计算技术平台．云计算技术 国内已有研究［３－４］，文献［５］则对在多核集 群 上 以 ＭａｐＲｅｄｕｃｅ的方式实现机器学 习算法进行了研 究．本文在基 于 Ｈａｄｏｏｐ 技 术 的 云