大数据培训_module 03 mapreduce和yarn二次开发.pptxVIP

MapReduce和Yarn二次开发/ww/w/./h/uaw/e/i/./c/omCopyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.目标? 学完本课程后，您将能够:了解MapReduce的过程；? 搭建开发环境；? 运行程序；? MR开发接口介绍。Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 1目录1. MapReduce的过程2. 搭建开发环境3. 运行程序4. MR开发接口介绍Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 21 MapReduce的过程-部署原则注：一般采用以上方式部署高可靠的模式，即采用两个RM。具体部署方法参见安装指南。Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 31 MapReduce的过程-图解MR=把输入的数据（Input）拆分为 多个键值对（key-value对）InputKey,ValueKey,Value… …每一个键值对分别调用Map进 行并行处理MapMapMap每个Map会产生多个新的键值对Key,ValueKey,ValueKey,ValueKey,ValueKey,ValueKey,ValueKey,ValueKey,ValueKey,Value… …… …… …对Map阶段产生的数据进行排序、 组合CombineReduce(K,V[])以键值对的形式输出最终结果=OutputKey,ValueKey,Value… …Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 41 MapReduce的过程-MR过程详解Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 51 MapReduce的过程-MR过程详解Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 6典型程序WordCount举例假设要分析一个大文件A里每个英文单词出现的个数，利用MapReduce框架能快速实现这一统计分析。WordCount分析处理程序实现了用户自定义的Map函数和Reduce函WordCount App数。WordCount将分析应用提交给RM，RM根据请求创建对应的Job，并根据文件块个数按文件块分片，创建3个 MapTask 和 3个Reduce Task，这些Task运行在Container中。Map Task 1、2、3的输出是一个进行过了分区与排序（假设没做 Combine）的MOF文件，记录形如下表所示。2Resource ManagerNameNode3Slaver #1Node ManagerSlaver #2Node ManagerSlaver #3Data #1NodeNode ManagerData#2 NodeData#3 Node…ContainerContainerContainerA.1A.2A.31待处理的大文件A已经存放在HDFS上，大文件A被切分的数据块A.1、A.2、A.3分别存放在DataNode #1、#2、#3上。4Reduce Task从 Map Task获取MOF文件，经过合并、排序，最后根据用户自定义的Reduce逻辑， 输出如右表所示的统计结果。Copyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 7WordCount程序功能Input包含单词的文件Output每个单词出现的次数Bye 3Hadoop 4Hello 3World 2Hello World Bye World Hello Hadoop Bye Hadoop Bye Hadoop Hello HadoopMapReduceCopyright ? 2010 Huawei Technologies Co., Ltd. All rights reserved.Page 8WordCount 的Map过程Map OutputInputHello,1World,1Bye,1World,11, “Hello World Bye World”Map2, “H