Spark上的等值连接优化.PDFVIP

第5期 华东师范大学学报(自然科学版) NO．5 2014年9月 JournalofEastChinaNormal Science)Sept．2014 University(Natural 文章编号：1000—5641(2014)05—0263-08 Spark上的等值连接优化 卞昊穹1’2， 陈跃国1’2， 杜小勇1’2， 高彦杰1’2 (1．数据工程与知识工程教育部重点实验室(中国人民大学)； 2．中国人民大学信息学院，北京 100872) 摘要：等值连接作为数据分析中最常用、代价最高的操作之一，在Spark上的实现和优化与传 统并行数据库有很大的差别，传统并行数据仓库中基于数据预划分的连接算法在Spark上难以 实现，而目前被广泛采用的Broadcast Join性能较差，如何提高连接性能成为