Hadoop大数据开发实例教程：MapReduce和YARN技术PPT教学课件.pptx

MapReduce和YARN技术055.1MapReduce简介5.2MapReduce程序运行——WordCount实例5.3MapReduce执行过程——WordCount过程分析5.4MapReduce编程基础——WordCount代码分析5.5分布式资源管理器YARN5.6MapReduce编程实例5.7实训5部署并应用MapReduce和YARN

了解MapReduce的数据类型；掌握MapReduce的工作过程；掌握YARN环境的搭建与启动；123本模块先对MapReduce进行介绍，接着运行系统自带的WordCount实例，以此来进行MapReduce执行过程的分析，同时对MapReduce编程中涉及的Mapper类、Reducer类和主函数进行逐一剖析。为了从根本上解决旧MapReduce存在的问题，对YARN的工作流程进行讲解，并部署与启动YARN，通过MapReduce的3个编程实例让读者更清楚地了解MapReduce。通过本模块的学习，读者将达到以下职业能力目标和要求：目标和要求MapReduce和YARN技术掌握jar包的导出与运行；能使用MapReduce完成单词统计、数据排序和数据去重工作；熟练使用Eclipse完成简单的MapReduce编写过程。456

5.1MapReduce简介HDFS的应用场景是进行数据的存储，可以把很多廉价的存储介质利用起来构成一个“庞大”的存储空间，存储更多的“大数据”。而MapReduce的应用场景主要表现在从“大数据”中进行计算，不要求及时返回“我们”需求的结果。MapReduce是由Google提出的一种面向大规模数据处理的并行计算模型和方法，初衷是解决其搜索引擎中大规模网页数据的并行化处理，2004年12月，Google在某次国际会议上发布了MapReduce论文，并公布了MapReduce的基本原理和主要设计思想。Hadoop中的MapReduce模块可以说是理论起源于Google，代码实现于Hadoop。MapReduce采取分而治之的思想，将一个“大任务”分解成若干“小任务”，提交给集群的若干台计算机处理。将数据的处理过程分成Map和Reduce两个阶段，Map负责把作业分解成多个任务，Reduce负责把分解后多任务处理的结果进行汇总，其模型如图5-1所示。

5.1MapReduce简介图5-1MapReduce模型

5.2MapReduce程序运行——WordCount实例对MapReduce进行更深层次的学习之前，先来感受一下MapReduce的强大功能，以Hadoop中自带的一个WordCount实例为例。MapReduce界的helloworld程序就是WordCount（单词计数）程序，目的就是用来统计一篇或一堆文本文件中各单词的出现次数。接下来在Hadoop的本地模式（单机模式）下运行WordCount实例，亦可通过伪分布式/完全分布式模式进行。

5.2MapReduce程序运行——WordCount实例

5.2MapReduce程序运行——WordCount实例重点解释此处需要重点解释“hadoopjarhadoop-mapreduce-examples-2.10.0-sources.jarorg.apache.hadoop.examples.WordCountcount.txtoutput”这条语句，“jar”为命令参数，后面紧跟jar包的代码地址；“hadoop-mapreduce-examples-2.10.0-sources.jar”是程序的jar包；“org.apache.hadoop.examples.WordCount”是包名.主类名；“count.txt”是输入文件；“output”是指输出目录，此目录一定是未存在的，否则会报错。

5.3MapReduce执行过程——WordCount过程分析当需要统计的文件量庞大时，分布式存储（HDFS）和分布式计算架构（MapReduce）就显得尤为重要了。MapReduce程序中计算的数据可以来自本地文件、HDFS、数据库等多个数据源，而最常用的就是高吞吐性能的HDFS，当MapReduce运行Task时，会基于用户编写的业务逻辑读取或存储数据。接下来以WordCount程序为例，分析MapReduce的执行过程。“5.2MapReduce程序运行——WordCount实例”是统计“count.txt”文档中每个单词出现的次数，MapReduce的执行过程如图5-2所示。图5-2MapReduce的执行过程

5.3MapReduce执行过程——WordCount过程分析从图中可以看到，WordCount实例的MapReduce的执行过程分为4个