e6_17 mapreduce高阶实现12课件38 - mapreduce高阶实现12.pptVIP

Hadoop大数据解决方案进阶应用 Hadoop 讲师：迪伦（北风网版权所有） MapReduce高阶实现 (12) 连接类型 连接策略 重分区连接 复制连接 课程目标 连接类型 MapReduce的连接操作的应用场景： 用户的人口统计信息的聚合操作 当用户超过一定时间没有使用网站后，发邮件提醒他们 分析用户的浏览习惯，让系统可以提示用户有哪些网站特性还没有使用到，形成一个反馈循环 常用的两个连接类型：内连接和外连接 连接策略 为了实现内连接和外连接，MapReduce中有三种连接策略 重分区连接（Repartition join）—reduce端连接 使用场景：连接两个或多个大型数据集 复制连接（Replication join）—map端连接 使用场景：待连接的数据集中有一个数据集小到可以完全放在缓存中 半连接（Semi-join）—map端连接 使用场景：带链接的数据集中有一个数据集非常大，但同时这个数据集可以被过滤成小到可以放在内存中 重分区连接 重分区连接是reduce端连接。它利用MapReduce的排序-合并机制来分组数据，并支持多路连接（N-way join） 优化后的重分区框架 缓存两个数据集中比较小的那一个，以减少内存消耗 针对map的输出数据的二次排序 复制连接 复制连接是map端的连接 连接中最小的数据集将会被复制到所有的map主机节点 一个复制