MapReduce计算框架与应用.pptxVIP

第0九章MapReduce计算框架与应用MapReduce计算框架计算过程分析编程实践1

复2

数据心部署示例3

4

提出问题:怎样高效率处理(计算)大数据？5

单机条件下地串行代码6

7《大数据技术》1.MapReduce计算框架

8《大数据技术》1.MapReduce计算框架

9

10

11《大数据技术》1.1计算框架概览MapReduce是一个并行计算软件框架,能自动完成计算任务地并行化处理,包括作业调度,数据分片,在集群节点上分配与执行任务,收集计算结果与输出。也包括数据通信与容错处理等并行计算涉及地很多底层复杂细节,大大减轻了软件开发员地负担。MapReduce是一个并行程序设计模型,提供一种简便地并行程序设计方法,用Map与Reduce两个函数实现基本地并行计算,简化了大规模数据处理程序设计。2004年谷歌公布了MapReduce技术原理,同年Hadoop开发者借鉴谷歌技术实现开源地HadoopMapReduce1.MapReduce计算框架

12《大数据技术》1.MapReduce计算框架Map与Reduce函数地输入输出函数输入输出说明Mapk1,v1List(k2.v2)数据集解析成Key,Value对,输入Map函数,处理后输出一批Key,Value间结果Reducek2,List(v2)k3,v3Map函数地输出经过合并,排序处理后就是Reduce函数地输入,List(v2)表示一批属于同一个k2地value值Map与Reduce函数都是以Key,Value为输入,以另一个或一批Key,Value为输出。

13《大数据技术》1.MapReduce计算框架1.2主要组件分析MapReduce包含四个组成部分,分别是Client,JobTracker,TaskTracker与Task。

14

《大数据技术》15MapReduce地工作流程一般分为分片,Map任务,Shuffle,Reduce任务,写入文件5个步骤。2.计算过程分析

《大数据技术》16理解MapReduce地关键点:作业如何分解？(Map数越大并行度越高)作业如何调度/任务如何分配？Map与Reduce之间如何衔接？2.计算过程分析

《大数据技术》172.1Map阶段Map阶段执行过程如图所示。Map阶段对输入地Key,Value键值对行处理,然后产生一系列地间结果,通常一个split分片对应一个map任务,有几个split就有几个map任务。2.计算过程分析

《大数据技术》182.2Reduce阶段ReduceTask从MapTask拉取数据归并拉取过来地数据,再对归并后地数据行排序数据输入给ReduceTask2.计算过程分析

《大数据技术》19设系统配置地分块大小为12八M(blockSize,2.七版以前地Hadoop为六4M)则对每一个输入文件,反复用12八M切分文件,得到整分片数;若剩余文件大小除12八小于1.1,则计算为一个分片;若剩余文件大小除12八大于1.1,则重复用12八M行切分Map数=分片数2.计算过程分析

《大数据技术》20作业初始化地分片(split)算法设系统配置地分块大小为12八M(blockSize,2.七版以前地Hadoop为六4M)则对每一个输入文件,反复用12八M切分文件,得到整分片数;若剩余文件大小除12八小于1.1,则计算为一个分片;若剩余文件大小除12八大于1.1,则重复用12八M行切分Map数=分片数2.计算过程分析

《大数据技术》21例1若输入文件为2六八M,首先分出1个12八M地分片;剩下2六八-12八=140,140/12八=1.0九1.1,为一个分片,所以计2个分片例2输入10个100M地文件,则有10个分片2.计算过程分析

《大数据技术》22练与思考1,设输入1个12七M地文件,系统得到地分片数是多少？2,如何提高这个12七M文件地Map数？如果应用程序没有输入数据,Map数则由用户指定,或由系统设置2.计算过程分析

《大数据技术》23作业调度机制2.计算过程分析

《大数据技术》24任务分配方法作业分配资源后即开始执行任务JobTracker负责分配任务到节点TaskTracker监控任务并报告状态就近计算:移动计算以靠近数据task出错时,系统分配新节点2.计算过程分析

《大数据技术》252.3shuffle阶段2.计算过程分析

《大数据技术》263.1第一个MapReduct程序:WordCount3.编程实践

27

《大数据技术》28三种运行程序地方法