《大数据基本处理框架原理与实践》PPT课件（共16次课）第三次课：MapReduce概述.pptVIP

第三次课：MapReduce概述 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 报告提纲 MapReduce计算过程 MapReduce的架构与运行流程 MapReduce计算框架概述 WordCount的MapReduce程序 什么是MapReduce 大数据的分布式存储：HDFS 如何对分布式环境下的数据进行计算处理呢？ MapReduce 什么是MapReduce Hadoop下的一个负责分布式计算的组件 一个软件系统，运行于HDFS之上 定义了一种实现分布式计算的框架 负责计算任务在集群中的分配调度、负载均衡、容错处理、网络通信等一系列问题 方便编程人员在不熟悉分布式并行编程的情况下，能够编写程序对分布式环境下的大数据进行处理 MapReduce分布式计算框架 借鉴了函数式编程 函数：集合之间的一种映射关系 不同于命令式编程，函数式编程关注集合之间的映射关系 函数可以作为另一个函数的输入和输出 MapReduce框架 将分布式环境下的并行大数据处理过程抽象为两个函数：map和reduce Map: key1,value1  key2, value2 Reduce: key2,value-list  key3, value3 MapReduce分布式计算框架 HDFS的数据块 一个Map函数过程 一个reduce函数过程 MapReduce与HDFS的关系 输入的大规模数据 分布式计算代码 分布式存储：分配数据到各个节点 HDFS 分布式计算：分配代码到各个节点 MapReduce Hadoop理念： 代码向数据迁移 MapReduce计算任务的特点 MapReduce适合的场景：待处理的大数据集可以分成不同的数据块，而且每个小数据块可以独立的并行的进行处理 报告提纲 MapReduce计算过程 MapReduce的架构与运行流程 MapReduce计算框架概述 WordCount的MapReduce程序 MapReduce计算过程 MapReduce计算过程 三个阶段 MapReduce计算过程 Map阶段 输入：一个split 输入到map函数的输入：splitkey1,value1 Map函数处理：key1,value1key2,value2 输出：key2,value2 Split: 对map处理过程需要处理的数据集合的抽象描述 对应于map所在节点上的数据块 Hadoop会自动完成，但我们可以重载！ MapReduce计算过程 Map阶段 MapReduce计算过程 Shuffle阶段 Map端的Shuffle过程 reduce端的Shuffle过程 MapReduce计算过程 Shuffle阶段--Map端的Shuffle过程 Partition分区操作 将map产生的不同key, value键值对分配给不同的reduce 默认是根据对map输出的key, value键值对中的key值进行Hash运算（hash(key)/num_reduceTasks）的结果来将数据进行分区 实际中也可以通过重载分区接口来改写分区的方式 第一个分区：”China”, 1 第二个分区：”Hello”, 1 ”Hello”, 1 ”Hadoop”, 1 以字母C和M开头的数据分为一个区 以H开头的单词分为另一个分区 MapReduce计算过程 Shuffle阶段--Map端的Shuffle过程 Combine合并操作 将一个分区内相同key的value进行合并运算处理，以减少需要在map和reduce之间传输的数据量 常见的合并运算包括求和、取最大、取最小 在实际中是可选的，它要求编程人员重载合并接口并进行明确的设置 合并前： 合并后： 第一个分区：”China”, 1 第一个分区：”China”, 1 第二个分区：”Hello”, 1 第二个分区：”Hello”, 2 ”Hello”, 1 ”Hadoop”, 1 ”Hadoop”, 1 MapReduce计算过程 Shuffle阶段--Map端的Shuffle过程 Merge文件合并操作 MapReduce将map产生的key, value数据写入磁盘，每次写入磁盘都会形成一个文件 在map过程结束之后，merge操作将map过程产生的多个文件合并成一个大文件 将不同文件中相同分区的key, value数据划分到同一个分区并重新进行排序 将一个分区内来自不同文件的相同的key的数据