大数据技术原理与应用-第七章-MapReduce.pptVIP

7.3.3 Shuffle过程详解 3. Reduce端的Shuffle过程 Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据 Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘 多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的 当数据很少时，不需要溢写到磁盘，直接在缓存中归并，然后输出给Reduce * 精品课件资料 7.3.3 Shuffle过程详解 3. Reduce端的Shuffle过程 图7-5 Reduce端的Shuffle过程 * 精品课件资料 7.3.4 MapReduce应用程序执行过程 7.4 实例分析：WordCount 7.4.1 WordCount程序任务 7.4.2 WordCount设计思路 7.4.3 一个WordCount执行过程的实例 * 精品课件资料 7.4.1 WordCount程序任务 表7-2 WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 表7-3 一个WordCount的输入和输出实例 输入 输出 Hello World Hello Hadoop Hello MapReduce Hadoop 1 Hello 3 MapReduce 1 World 1 * 精品课件资料 7.4.2 WordCount设计思路 首先，需要检查WordCount程序任务是否可以采用MapReduce来实现 其次，确定MapReduce程序的设计思路 最后，确定MapReduce程序的执行过程 * 精品课件资料 7.4.3 一个WordCount执行过程的实例 图7-7 Map过程示意图 * 精品课件资料 7.4.3 一个WordCount执行过程的实例 图7-8 用户没有定义Combiner时的Reduce过程示意图 * 精品课件资料 7.4.3 一个WordCount执行过程的实例 图7-9 用户有定义Combiner时的Reduce过程示意图 * 精品课件资料 7.5 MapReduce的具体应用 MapReduce可以很好地应用于各种计算问题 关系代数运算（选择、投影、并、交、差、连接） 分组与聚合运算 矩阵-向量乘法 矩阵乘法 7.5 MapReduce的具体应用 用MapReduce实现关系的自然连接 7.5 MapReduce的具体应用 用MapReduce实现关系的自然连接 假设有关系R(A，B)和S(B,C)，对二者进行自然连接操作 使用Map过程，把来自R的每个元组a,b转换成一个键值对b, R,a，其中的键就是属性B的值。把关系R包含到值中，这样做使得我们可以在Reduce阶段，只把那些来自R的元组和来自S的元组进行匹配。类似地，使用Map过程，把来自S的每个元组b,c，转换成一个键值对b,S,c 所有具有相同B值的元组被发送到同一个Reduce进程中，Reduce进程的任务是，把来自关系R和S的、具有相同属性B值的元组进行合并 Reduce进程的输出则是连接后的元组a,b,c，输出被写到一个单独的输出文件中 7.5 MapReduce的具体应用 用MapReduce实现关系的自然连接 7.6 MapReduce编程实践 7.6.1 任务要求 7.6.2 编写Map处理逻辑 7.6.3 编写Reduce处理逻辑 7.6.4 编写main方法 7.6.5 编译打包代码以及运行程序 7.6.6 Hadoop中执行MapReduce任务的几种方式 * 精品课件资料 7.6.1 任务要求 文件A的内容如下： China is my motherland I love China 文件B的内容如下： I am from China 期望结果如右侧所示： I 2 is 1 China 3 my 1 love 1 am 1 from 1 motherland 1 精品课件资料 精品课件资料 提纲 7.1 概述 7.2 MapReduce体系结构 7.3 MapReduce工作流程 7.4 实例分析：WordCount 7.5 MapReduce的具体应用 7.6 MapReduce编程实践 7.1 概述 7.1.1 分布式并行编程 7.1.2 MapReduce模型简介 7.1.3 Map和Reduce函数 * 精品课件