一种基于Hadoop多表链接策略.docVIP

一种基于Hadoop多表链接策略 　　摘 要： Hadoop系统在处理多表链接问题时，每轮都会将大量的中间结果写入本地磁盘，从而严重降低了系统的处理效率。为解决该问题，提出一种“替换?查询”方法，该方法通过对链接表建立索引，将预输出的元组集替换为索引信息输出到中间结果，以索引的形式参与多表链接，以此减少中间结果的I/O代价。运用缓冲池、二次排序和多线程技术对索引信息进行优化管理，加快索引查询速度。最后在TPC?H数据集上，设计了与原Hadoop的对比实验，结果表明该方法可减少35.5%的存储空间，提高12.9%的运行效率。 关键词： 多表链接； 替换?查询； 索引； 缓冲池； 二次排序 中图分类号： TN911?34； TP311 文献标识码： A 文章编号： 1004?373X（2014）06?0090?05 0 引 言 随着互联网应用的快速发展，海量数据的存储与处理成为研究人员面临的严峻挑战。近年来，谷歌提出的分布式文件系统GFS、并行编程框架Map?Reduce。基于此，开源社区Apache的Hadoop项目实现了分布式文件系统HDFS和并行编程框架Hadoop Map?Reduce。Hadoop因其良好的可扩展性、高可用性以及容错性，广泛地应用在IBM，百度，360，阿里巴巴等互联网公司的海量数据存储与分析应用中，是目前使用最为广泛的云计算