LCDJ面向内存集群计算的局部感知连接算法.pdfVIP

第 期 华东师范大学学报（自然科学版） ５ Ｎｏ．５ 　 　 年 月 （ ） ２０１４ ９ Ｓｅｔ．２０１４ ＪｏｕｒｎａｌｏｆＥａｓｔＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔ ＮａｔｕｒａｌＳｃｉｅｎｃｅ ｐ ｙ 文章编号： （ ） １０００５６４１２０１４０５０２２８１２ 犔犆犇犑：面向内存集群计算的局部 感知连接算法 张 磊， 周敏奇， 王 立 　 　 　 　 （华东师范大学软件学院，上海 ２０００６２） 　 摘要：等值连接是数据库系统中最为重要的操作之一，哈希连接在处理等值连接时，表现出较 高的性能 在分布式内存数据库系统中，数据即已分布式地存储于多个节点上，哈希连接通常情 ． 况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区，从而保证 连接属性值相同的元组被传输到同一个节点上进行本地连接操作 由于内存数据处理速率远远 ． 高于网络的数据传输速率，因此数据重分区占据了连接算法的绝大部分时间，成为分布式内存 数据库系统中等值连接操作的性能瓶颈 本文提出了一种新颖的分布式内存数据库环境下的等 ． 值连接算法 （ ），在充分利用高效的内存计算的同时尽 ＬＣＤＪＬｏｃａｌｉｔＣｏｎｓｃｉｏｕｓＤｉｓｔｒｉｂｕｔｅｄＪｏｉｎ ｙ 量减少网络数据传输量 算法首先对每个表连接属性的数据分布进行精确的统计，并结合并行 ． 度和计算负载均衡因素，进而建立代价模型来衡量不同调度策略下的时间开销，并求出最优的 调度策略 实现于基于内存的分布式原型系统 中 实验结果表明，本文所提算法有 ．ＬＣＤＪ Ｃｌａｉｍｓ ． 效地降低了网络传输代价，大幅度减少了响应时间，比起当前流行的 和 等系统有明 Ｈｉｖｅ Ｓｈａｒｋ 显的性能提升． 关键词：分布式哈希连接； 内存数据库； 网络传输优化； 负载均衡； 分布式系统 　 　 　 　 中图分类号： 文献标识码： ： ／ ＴＰ３０１．６ Ａ 犇犗犐１０．３９６９ ．ｉｓｓｎ．１０００５６４１．２０１４．０５．０２０ 　　 　　 ｊ ： 犔犆犇犑