犁狆犪狉犽上的等值连接优化-华东师范大学.PDF

第 期 华东师范大学学报（自然科学版） ５ Ｎｏ．５ 　 　 年 月 （ ） ２０１４ ９ Ｓｅｔ．２０１４ ＪｏｕｒｎａｌｏｆＥａｓｔＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔ ＮａｔｕｒａｌＳｃｉｅｎｃｅ ｐ ｙ 文章编号： （ ） １０００５６４１２０１４０５０２６３０８ 犛犪狉犽上的等值连接优化 狆 ， ， ， ， １２ １２ １２ １２ 卞昊穹 ， 陈跃国 ， 杜小勇 ， 高彦杰 　 　 　 （ 数据工程与知识工程教育部重点实验室（中国人民大学）； １． ２．中国人民大学 信息学院，北京 １００８７２） 　 摘要：等值连接作为数据分析中最常用、代价最高的操作之一，在 Ｓａｒｋ上的实现和优化与传 ｐ 统并行数据库有很大的差别，传统并行数据仓库中基于数据预划分的连接算法在 Ｓａｒｋ上难以 ｐ 实现，而目前被广泛采用的 和 性能较差，如何提高连接性能成为 ＢｒｏａｄｃａｓｔＪｏｉｎ ＲｅａｒｔｉｔｉｏｎＪｏｉｎ ｐ 基于 的海量数据分析的关键 本研究将 与 的优势相结合，并基于 Ｓａｒｋ ． ＳｉｍｉＪｏｉｎ ＰａｒｔｉｔｉｏｎＪｏｉｎ ｐ 上的特性提出了一种优化的等值连接算法 代价分析和实验表明本算法比现有基于 Ｓａｒｋ ． ｐ 的数据分析系统中的连接算法性能提升 倍 Ｓａｒｋ １ ２ ． ｐ ～ 关键词： ； ； 大数据分析； 等值连接； 内存计算 Ｓａｒｋ ＳＱＬ ｐ 　 　 　 　 中图分类号： 文献标识码： ： ／ ＴＰ３９２ Ａ 犇犗犐１０．３９６９ ．ｉｓｓｎ．１０００５６４１．２０１４．０５．０２３