基于MapReduce的SON算法实现.pdf

Journal of Computer Applications ＩSSN 1001-90８1 201４-06-30 计算机应用,201４,3４(S1）：100－102,106 　 CODENJYＩＩDU　 http：/ / www．joca．cn 文章编号：1001-90８1（201４)S1-0100-03 基于ＭapReduce 的SON算法实现 1,2* 1,2 郭进伟 ,皮建勇 （1．贵州大学 计算机科学与技术学院,贵阳５５002５;　 2．贵州大学 云计算与物联网研究中心,贵阳５５002５) ( *通信作者电子邮箱jinwei　guo@163．com） 摘　 要:在挖掘频繁项集的算法中,SON算法能够有效地降低 CPU和 Ｉ/ O 负载,但是SON 算法在单节点上运行 时仍然受限于内存和CPU;并且随着海量数据的来临,单节点也无法满足数据的存储。 在深入研究SON算法的基础 之上,提出了ＭapReduce编程模型实现SON算法的方法。 算法的执行需要两轮ＭapReduce迭代,第一轮迭代求出局 部频繁项集,第二轮迭代求出全局频繁项集。 实验结果表明:SON 算法采用ＭapReduce 编程模型并行化后,部署在 Ｈadoop集群上运行,随着分区数目的增加能够获取较好的加速比。 关键词:数据挖掘;频繁项集;ＭapReduce;SON算法;Ｈadoop 中图分类号:TP311　 　 文献标志码:A Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ＳOＮ ａｌｇｏｒｉｔｈｍ bａｓｅｄ ｏｎ MａｐＲｅｄｕｃｅ 1,2* 1,2 GUOJinwei , PＩ Jianyong (1. College of Computer Science and Technology， Ｇuizhou University， Ｇuiyang Ｇuizhou５５002５， China； 2. Research Centre of Cloud Computing and Internet of Things， Ｇuizhou University， Ｇuiyang Ｇuizhou５５002５， China） Ａbｓｔｒａｃｔ： Ｉn algorithmsfor miningfrequent itemsets, SONalgorithm can effectively reduce CPUand Ｉ/ Ooverhead． But SON algorithm which runs on a single node is still limited by the memory and CPU of the node． Andwith the advent of mass data, single node cannot meet the requirements of data storage． Based on the research of SON algorithm, a SON algorithm paralleled by ＭapReduce paradigm was proposed． Execution of the algorithm required two ＭapReduce iterations． The first round gavethelocalfrequentitemsets, andthesecondroundworkedouttheglobalfrequentitemsets． Theexpe