基于MapReduce的混合连接算法.PDF

计 算 机 与 现 代 化 2015 6 JISUANJI YU XIANDAIHUA 238 年第 期 总第 期 06-0086-06 文章编号:1006-2475 (2015) 基于MapＲeduce 的混合连接算法 ， 胡 龙 罗 军 ( ， 400044) 重庆大学计算机学院 重庆 : Hadoop Hive SQL Hadoop 。 ，Hive 摘要 运行在 上的数据仓库 可以让更多的用户通过 接口来处理 数据 然而 却没有为连 ， Hadoop 。 Hadoop 接操作提供有效的途径 而连接操作是一种常见且在 中非常费时的操作 为了解决连接操作在 中性能 ， HJ-A， ， 的问题 本文提出一种混合策略的连接算法 根据当前应用场景在几种连接算法之间选择相对较合适的算法 实验 结果表明，HJ-A 可以在大多数的Hadoop 场景中发挥很好的性能。 关键词:MapＲeduce ;Hadoop ;分区连接;auto-tunning ;Hive 中图分类号:TP391 文献标识码:A doi :10． 3969 /j． issn． 1006-2475． 2015． 06． 019 Hybrid Join Algorithm Based on MapＲeduce HU Long ，LUO Jun (College of Computer Science ，Chongqing University ，Chongqing 400044 ，China) Abstract :Hive ，the database on Hadoop ，enables more users to process relation data by providing sql-like interface． However ， Hive does not provide an efficient approach for join ，a common but expensive operator in Hadoop． In order to solve the perform- ance of join ，this paper proposes a novel hybrid algorithm ，HJ-A ，which can help to automatically choose the relatively better one among several methods ，according to the current situation． Experiments results show that HJ-A can get best performance in most situations． Hive Key words :MapＲeduce ;Hadoop ;parti