大数据技术应用（国家） 知识点2：MapReduce的各个执行阶段 MapReduce的各个执行阶段.pptxVIP

MapReduce的各个执行阶段 2 学习任务 了解MapReduce各个执行阶段 掌握MapReduce阶段知识 3 知识目标 学习MapReduce执行阶段 了解MapReduce宏观上的三个阶段 01 能力目标 熟练掌握MapReduce各个执行阶段 02 学习目标 4 目 录 MapReduce简介 MapReduce宏观执行阶段 MapReduce工作原理 MapReduce主要功能 5 MapReduce简介 MapReduce是一种并行可扩展计算模型，并且有较好的容错性，主要解决海量离线数据的批处理。实现下面目标。 易于编程 良好的扩展性 高容错性 6 MapReduce宏观执行阶段 宏观上MapReduce可以分为以下三个阶段,如下图所示。 阶段1：input/map/partition/sort/spill 阶段2：mapper端merge 阶段3：reducer端merge/reduce/output 7 MapReduce宏观执行阶段 以下分别对上述三个阶段详解。首先是Mapper端的执行逻辑，主要包含以下三点，如图所示： 1. 将key/value/Partition写入到内存缓冲区中 2. 当缓冲区使用量达到一定阀值，将其spill到disk上，spill前，需要进行排序 3. 排序时先按照Partition进行排序，再按照key进行排序，默认排序算法是快速排序。 8 MapReduce宏观执行阶段 注意： 在内存中进行排序时，数据本身不用移动，仅对索引排序即可 9 MapReduce宏观执行阶段 接下来是Map端的归并实现，主要包含以下两点，如图所示。 1.对生成的多个spill文件，进行归并排序 2.最终归并成一个大文件 10 MapReduce宏观执行阶段 注意： 1. 由于每一个spill文件都是按分区和key排序好的，所以归并完的文件也是按分区和key排序好的。 2.在进行归并的时候，不是一次性的把所有的spill文件归并成一个大文件。而是部分spill文件归并成中间文件，然后中间文件和剩下的spill文件再进行归并。 11 MapReduce宏观执行阶段 最后是Reducer端的Merge和Reduce，主要包含以下三点，如下图所示： 1. 当有新的MapTask事件完成时，拷贝线程从指定的机器上面拷贝数据 2. 当数据拷贝的时候，分两种情况，当数据量小的时候就会写入内存当中，当数据量大的时候就会写入硬盘当中 3. 来自不同的机器的多个数据文件，需要归并成一个文件.在拷贝文件过程中会进行文件归并操作. 12 MapReduce宏观执行阶段 3. 来自不同的机器的多个数据文件，需要归并成一个文件.在拷贝文件过程中会进行文件归并操作. 13 MapReduce运行的5个阶段 MapReduce在运行的过程中大致概括为5个步骤 1. [input阶段] 获取输入数据进行分片作为map的输入 2. [map阶段] 过程对某种输入格式的一条记录解析成一条或多条记录 3. [shffle阶段] 对中间数据的控制，作为reduce的输入 4. [reduce阶段]对相同key的数据进行合并 5. [output阶段]按照格式输出到指定目录 14 MapReduce运行的5个阶段 input阶段 input阶段主要是从节点上反序列化数据，读取后切片，供map阶段使用 序列化格式和inputformat格式可以自定义设置 只有支持分片的压缩格式可以分片 记录格式：如serse 用正则表达式来转换文本hive   具体的步骤顺序如下: 1. 访问datanode中的数据反序列化数据并进行切片，为每一个切片分配一个map任务 。 2. 并发的执行这些任务 。 3. 通过recordReader读取切片中的每一条记录，按照记录格式读取，偏移值作为map的key，记录行作为value，当做map方法的参数。 15 MapReduce运行的5个阶段 map阶段 通过对输入记录的处理，转换成一个或多个中间记录 shuffle阶段 需要注意： 1. shuffle阶段会对中间值进行优化，并且将分区的数据分发给各个reduce处理 2.map任务的输出默认是放在本地磁盘的临时缓冲目录中的 3.分区，排序，combiner过程可自定义 4.由于受限于集群可用带宽，通常会对中间数据做压缩，combiner处理，减少网络带宽消耗 5.分区的作用就是决定根据map 输出的key值由哪个reduce处理 6.mapper实现类读取配置文件属性，可以在配置中指定压缩的格式 7.每一个分组的后台线程对输出结果的key进行排序，在排序的过程中，有combine函数则会进行调用 16 MapReduce运行的5