第4章-MapReduce分布式编程--大数据基础.pptVIP

第4章 MapReduce分布式编程 大数据项目组 2018年7月 华中科技大学软件学院 目录 2  MapReduce编程概述  编程示例 深入理解MapReduce程序的运行过程  任务调度框架 数据类型与输入/输出格式 编程实例 3 MapReduce编程概述 MapReduce是一个分布式计算的编程框架，用于大规模数据集的并行处理。MapReduce将一个数据处理过程拆分为Map和Reduce两部分：Map是映射，负责数据的过滤分发；Reduce是规约，负责数据的计算归并。开发人员只需通过编写Map和Reduce函数，不需要考虑分布式计算框架内部的运行机制，即可在Hadoop集群上实现分布式运算。引入MapReduce框架后，开发人员可将精力集中在业务逻辑的开发上，分布式计算的复杂性交由框架来处理。 MapReduce把对数据集的大规模操作分发到计算节点，计算节点会周期性地返回其工作的最新状态和结果。如果节点保持沉默超过一个预设时间，主节点则标记该节点为死亡状态，并把已分配给这个节点的数据发送到别的节点重新计算，从而实现数据处理任务的自动调度。 4 MapReduce编程概述 MapRedcue分布式编程的主要步骤 （1）编写Hadoop中org.apache.hadoop.mapreduce.Mapper类的子类，并实现map方法； （2）编写Hadoop中org.apache.hadoop.mapreduce.Reducer类的子类，并实现reduce方法； （3）编写main程序，设置MapReduce程序的配置，并指定任务的Map程序类（第一步的Java类）、Reduce程序类等（第二步的Java类），指定输入/输出文件及格式，提交任务等； （4）将（1）～（3）的类文件与Hadoop自带的包打包为jar文件，并分发到Hadoop集群的任意节点； （5）运行main程序，任务自动在Hadoop集群上运行； （6）到指定文件夹查看计算结果。 目录 5  MapReduce编程概述  编程示例 深入理解MapReduce程序的运行过程  任务调度框架 数据类型与输入/输出格式 编程实例 6 MapReduce编程示例 假设将一个英文文本大文件作为输入，统计文本文件中单词出现的频数。最基本的操作是把输入文件的每一行传递给map函数完成对单词的拆分并输出中间结果，中间结果为word,1的形式，表示程序对一个单词，都对应一个计数“1”。使用reduce函数收集map函数的结果作为输入值，并生成最终word,count形式的结果，完成对每个单词的词频统计。 目录 7  MapReduce编程概述  编程示例 深入理解MapReduce程序的运行过程  任务调度框架 数据类型与输入/输出格式 编程实例 8 深入理解MapReduce程序的运行过程 MapReduce运行阶段数据传递经过输入文件、Map阶段、中间文件、Reduce阶段、输出文件五个阶段，用户程序只与Map阶段和Reduce阶段的Worker直接相关，其他事情由Hadoop平台根据设置自行完成。 9 深入理解MapReduce程序的运行过程 从用户程序User Program开始，用户程序User Program链接了MapReduce库，实现了最基本的map函数和reduce函数。 （1）MapReduce库先把User Program的输入文件划分为M份（M为用户定义），每一份通常16MB～64MB，如图4.5左方所示将数据分成了分片0～4；然后使用fork将用户进程复制到集群内其他机器上。 （2）User Program的副本中有一个称为Master，其余称为Worker，Master是负责调度的，为空闲Worker分配作业（Map作业或者Reduce作业），Worker的数量也是可以由用户指定的。 （3）被分配了Map作业的Worker，开始读取对应分片的输入数据，Map作业数量是由输入文件划分数M决定的，和分片一一对应；Map作业将输入数据转化为键值对表示形式，传递给map函数，map函数产生的中间键值对被缓存在内存中。 10 深入理解MapReduce程序的运行过程 （4）缓存的中间键值对会被定期写入本地磁盘，而且被分为R个区，R的大小是由用户定义的，将来每个区会对应一个Reduce作业；这些中间键值对的位置会被通报给Master，Master负责将信息转发给Reduce Worker。 （5）Master通知分配了Reduce作业的Worker负责数据分区，Reduce Worker读取键值对数据并依据键排序，使相同键的键值对聚集在一起。注意，同一个分区可能存在多个键的键值对