Hadoop迭代优化技术的研究.PDF

第24卷摇 第9期 计 算机 技 术 与发 展 Vol.24摇 No.9 2014年9月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Sep.摇 2014 Hadoop迭代优化技术的研究 王晓军,邹亮亮 (南京邮电大学信息网络技术研究所,江苏 南京 210003) 摘摇 要:Hadoop是处理海量数据的分布式计算框架,已经得到了广泛的应用。 但是 Hadoop处理图结构数据存在一些不 足。 图结构数据的强耦合特性,无法通过一次MapReduce计算得出结果,而是需要迭代计算,甚至一次迭代需要多次Ma鄄 pReduce完成。 而重新启动MapReduce作业,开销较大,以及迭代过程中可能存在静态数据的不必要传输。 文中在Hadoop 的基础之上,提出map端存储的策略,即将静态数据存储在map端,在map端完成静态与动态数据相关的计算,减少了整 个迭代计算的总运行时间。 通过搭建修改过的Hadoop平台,与改进前迭代方案进行比较,实验结果表明map端存储策略 运行时间得到了一定程度的减少。 关键词:Hadoop;迭代;map端存储 中图分类号:TP31摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2014)09-0098-05 doi:10.3969/j.issn.1673-629X.2014.09.022 Research on Optimizing Iterative Technology of Hadoop WANG Xiao-jun,ZOU Liang-liang (Institute of Information Network Technology,Nanjing University of Postsand Telecommunications,Nanjing210003,China) Abstract:Hadoop is a distributed computing framework which hasbeen widely used for dealing with huge data.But Hadoop has some disadvantagesto processgraph data.Because of strong coupling,graph structure dataneedmultipleiterationswhich may containsseveral MapReduce computationsinstead of one MapReduce computation.It costs too much to restart MapReduce job and exists unnecessary transmission for static datainiteration.Proposemap sidestoragestrategybasedonHadoop,thestaticdataisstoredinmap sideandfinish some related computationswith state data.Thisstrategy couldreducewholerunningtime.Experimentalresultshave shown that map side storage strategy spendslesstime compared with previous strategy through Hadoop platform. Key words:Hadoop;iteration;map side storage 0摇 引摇 言 在大量数据中,