hadoop开发实战培训37 MapReduce高阶实现.pptVIP

北瓜 IBEIFENG. COM Hadoop大数据解决方案进阶应用 MapReduce高阶实现(11) Hadoop 讲师:迪伦(北风网版权所有)  课程目标 口连接 口Map端连接 口 Reduce端连接  连接 口 MapReduce能够执行大型数据集间的Jσin操作 口除了写 MapReduce程序,其他更高级的框架也可以实现,如 Pig、Hve或 Cascading等 口连接操作的具体实现取决于数据集的规模及分区方式 口连接操作如果有 mapper执行,则称为“map端连接 口如果由 Reducer端执行,则称为 reduce端连接 口数据的组织方式决定了采用map端还是 reduce端连接  Map端连接 口Map端连接会在数据到达map函数之前就执行连接操作 口各map的输入数据必须先分区并且以特定方式排序 口各个输入数据集被划分成相同数量的分区,并按相同的key排序 (连接键) 口同一个键的所有记录会放在同一个分区中 口Map端的连接操作可以连接多个作业的输出,前提是这些 reducer数量相同,键相同、并且输出文件是不可切分的 口利用 org. apache hadoop. mapred join包中的 Compositelnput Format类来运行个map端连接 口 org. apache hadoo