大数据技的术原理与应用第七章MapReduce.pptVIP

7.3.3 Shuffle过程详解 3. Reduce端的Shuffle过程 Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据 Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘 多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的 当数据很少时，不需要溢写到磁盘，直接在缓存中归并，然后输出给Reduce 7.3.3 Shuffle过程详解 3. Reduce端的Shuffle过程 图7-5 Reduce端的Shuffle过程 7.3.4 MapReduce应用程序执行过程 7.4 实例分析：WordCount 7.4.1 WordCount程序任务 7.4.2 WordCount设计思路 7.4.3 一个WordCount执行过程的实例 7.4.1 WordCount程序任务 表7-2 WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 表7-3 一个WordCount的输入和输出实例 输入 输出 Hello World Hello Hadoop Hello MapReduce Hadoop 1 Hello 3 MapReduce 1 World