基于位置感知和负载均衡MapReduce的Join算法优化6.pptVIP

Part 1 Part 1 Part 2 Part 3 Part 4 * Part 2 Part 1 Part 2 Part 3 Part 4 * Part 3 Part 1 Part 2 Part 3 Part 4 * Part 4 Part 1 Part 2 Part 3 Part 4 * Part 5 基于位置感知和负载均衡 MapReduce的Join算法优化 汇报人：黄梓铭 厦大数据库实验室 2015-3-7 目录页 CONTENTS PAGE P1.Reduce-side Join P2.已有的研究方法 P3.我的创新点 P4.总结 Reduce-side Join Reduce-side Join 表A 表B 以id为key连接 Mapreduce的Join过程 Ｈａｄｏｏｐ现有的划分方法以组为单位进行划分，具有相同键的所有记录被分配到同一个Ｒｅｄｕｃｅｒ进行处理．这种划分方法没有考虑每个组内包含的记录数目。比如partition函数是通过hash函数来觉决定分区结果。如果是数据均衡情况下，分区效果还是很理想的。但是在数据倾斜的情况下，就会出现一些较大key值被分配到同一个Reducer上照成负载的不均衡。比如下面这个例子。 所以我们主要就是要通过设计新的partition函数来替换掉已有的hash函数，已解决负载不均衡的问题。接下来我们看看已有的研究成果。 已有研