Hadoop迭代优化技术研究.PDFVIP

第24卷摇 第9期 计 算机 技 术 与发 展 Vol.24摇 No.9 2014年9月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Sep.摇 2014 Hadoop迭代优化技术的研究 王晓军,邹亮亮 (南京邮电大学信息网络技术研究所,江苏 南京 210003) 摘摇 要:Hadoop是处理海量数据的分布式计算框架,已经得到了广泛的应用。 但是 Hadoop处理图结构数据存在一些不 足。 图结构数据的强耦合特性,无法通过一次MapReduce计算得出结果,而是需要迭代计算,甚至一次迭代需要多次Ma鄄 pReduce完成。 而重新启动MapReduce作业,开销较大,以及迭代过程中可能存在静态数据的不必要传输。 文中在Hadoop 的基础之上,提出map端存储的策略,即将静态数据存储在map端,在map端完成静态与动态数据相关的计算,减少了整