Hadoop大数据处理技术基础与实践第四章 MapReduce.pptVIP

3.4 MapReduce数据流 - PartitonShuffle Mapper端 shuffle – spill 操作 3.4 MapReduce数据流 - PartitonShuffle Mapper端 shuffle – partition 操作 3.4 MapReduce数据流 - PartitonShuffle Mapper端 shuffle 演示 （本演示内容很少，只有一个Reducer，没必要进行Partition操作） 3.4 MapReduce数据流 - PartitonShuffle Reducer端 shuffle 3.4 MapReduce数据流 - PartitonShuffle Reducer端 shuffle 演示 （如果设置了combine，在merge sort时会进行相应操作） 3.5 MapReduce数据流 - Reduce 每个reduce任务都会创建一个Reducer实例 reducer的reduce()方法只会调用一次，它会接收一个键和关联到键的所有值的一个迭代器，迭代器会以一个未定义的顺序返回关联到同一个键的值。 3.5 MapReduce数据流 - Reduce WordCount Reducer 3.6 MapReduce数据流 - 输出 键值对通过OutputCollector被写到输出文件中，写入的方式由输出格式控制。 每一个reducer会把结果输出写在公共文件夹中一个单独的文件内，这些文件的命名一般是part-nnnnn，nnnnn是关联到某个reduce任务的partition的id 输出格式 描述 TextOutputFormat 默认的输出格式， 以 key \t value 的方式输出行 SequenceFileOutputFormat 输出二进制文件，适合于读取为子MapReduce作业的输入 NullOutputFormat 忽略收到的数据，即不做输出? 3.6 MapReduce数据流 - 输出 TextOutputFormat 演示 3. MapReduce工作原理 3.1 基本概念 3.2 工作流程 3.1 MapReduce工作原理 - 基本概念 整体流程图 MRV2 YARN MRV2 + YARN 第四章 MapReduce 1. MapReduce基础 1.1 函数式编程 1.2 列表处理 1.3 mapping数据列表 1.4 reducing数据列表 1.1 MapReduce基础-函数式编程 计算划到大量机器上 组件间不允许任意数据共享，避免保保持同步而产生的通信开销，所有在MapReduce上的数据不可变 节点间通信只在产生新输出 1.2 MapReduce基础-列表处理 MapReduce程序转变输入数据元素列表成输出数据元素列表。 1.3 MapReduce基础- mapping数据列表 MapReduce程序的第一步叫做mapping 1.4 MapReduce基础- Reducing数据列表 Reducing把数据聚集在一起。 reducer函数接收来自输入列表的迭代器 2. MapReduce编程模型 1.1 简单模型 1.2 复杂模型 1.3 key值归并模型 2. MapReduce编程模型 - 简单模型 2. MapReduce编程模型 - 复杂模型 2. MapReduce编程模型 - key归并 3. MapReduce数据流 3.1 概述 3.2 输入 3.3 Maper 3.4 PartitonShuffle 3.5 Reducer 3.6 输出 3.1 MapReduce数据流 - 概述 mapping任务平等， Mapper无特定标识，处理任意输入 每个mapper本地进行 中间值交换，同键值送到同一个reducer。唯一的结点通信 数据传送由平台处理 高层MapReduce工作流水线 3.2 MapReduce数据流 - 输入 3.2 MapReduce数据流 - 输入 输入文件：任务的初始存储地 输入格式：inputFormat定义了如何分割和读取输入文件。 选择对象 划分为inputSplits 每个InputSplit一个map任务 为RecordReader读取文件提供一个工厂方法 输入格式 描述 键 值 TextInputFormat 默认格式，读取文件的行 行的字节偏移量 行的内容 KeyValueInputFormat 把行解析为键值对 第一个tab字符前的所有字符 行剩下的内容 SequenceFileInputFormat Hadoop定义的高性能二进制格式 用户自定义 用户自定义 3.2 MapReduce数据流 - 输入 输入块InputSplit：文件拆分