MapReduce官方文档翻译2.6.0.docxVIP

Hadoop2.6.0官方MapReduce文档翻译一、前提条件：? ? 1、已经安装了Hadoop，并且正确配置了运行环境，Hadoop已经正常运行中；二、概述：? ? ? ? Hadoop MapReduce是一套软件框架，可以轻松编写程序处理大数据集（几千兆的数据集）的合计问题，?程序能并行在可靠的，可容错的大集群（成千个节点）商用硬件上。? ? ? ? MapReduce 工作（MapReduce job）通过许多完全并行的“map任务”（map task），将输入的数据集处理成为许多独立的“数据块”（chunk）。? ? ? ? map任务(Maps)处理完成后，将结果输出到“reduce任务”（reduce task）。通常输入和输出都存储在hadoop文件系统中。? ? ? ? 框架负责调度任务，监视任务运行情况和重启失败的任务。? ? ? ? 通常“计算节点”（compute node）和“存储节点”（storage node）是一样的，因为MapReduce框架和Hadoop分布式文件系统是运行在相同的节点配置上。相同配置的好处是，框架可以很方便的把调度作业，实施在有数据的节点上运行，避免过度消耗集群间的带宽。? ? ? ? MapReduce框架由一个主节点的ResuorceManager，每个隶属节点的NodeManager和每个应用程序的 MRAppMaster组成的。? ? ? ? 最低限度，应用程序需要指定Input和Output的位置，同时还要通过接口或者虚类实现map和reduce方法。所有这些和其他的参数，都将包含在Job配置（Job Configuration）中。? ? ? ? 然后，Hadoop作业客户端（Hadoop job client），向ResourceManager提交作业（作业可以是jar包，也可以是可执行文件）及配置，ResourceManager负责将作业及配置分配到隶属节点（slaves），然后调整任务和监视任务的执行状态，并将任务运行状态、监听信息提供给Hadoop作业客户端。? ? ? ? 虽然，Hadoop框架是有java写的，但是MapReduce程序不一定要用Java来写。? ? ? ? 比如：? ? ? ? Hadoop Streaming就是一个通用的方式，允许用户通过任何可运行的Mapper和Reducer来运行作业（如：Shell Utilities）。? ? ? ? Hadoop Pipes 是一个SWIG工具，兼容C++应用程序接口（C++ API）实现MapReduce应用程序。三、Input和Output介绍：? ??? ? ? ? MapReduce框架唯一操作方式就是基于对“键-值”（key,value）对的操作。MapReduce框架视向job输入的数据集为“键-值”对，Job输出的结果集也为“键-值”对，“键-值”可以是不同的类型。? ? ? ? key和value的类型必须是框架能够序列化的类型，因此，该类型必须实现Writable接口。此外，key的类型还必须实现WritableComparable，以方便框架进行分类。? ?? ? ?Input和Output的工作流程如下：? ? ? ??(Input)k1,v1 - mapk2,v2 - combinek2,v2 - reducek3,v3(Output)四、WordCount实例：? ?? ? ? ? 在进入细节之前，我们来通过一个MapReduce实例，让大家了解一下MapReduce是如何工作的。WordCount程序，实现单词出现次数的统计功能。? ? ? ? 1、设置好环境变量：~/.bashrc；? ? ? ? 2、编译java文件，生成class文件；? ? ? ? 3、打包class文件为jar文件；? ? ? ? 4、运行jar文件中的class；五、WordCount实例解析过程：? ? ? ? 1、Mapper的实现，通过map方法，每次只处理一行输入数据，由指定的TextInputFormat提供行数据；? ? ? ? 2、通过“空格”分隔符，取得单词，输入key,value；? ? ? ? 3、（本地聚合）指定combiner?，每个map的输出，都会经过本地的combiner进行本地聚合（每个job配置中combiner和reducer是一样的），对所有的key进行分类；? ? ? ? 4、Reducer的实现，通过reduce方法，对所有values中出现的每个Key进行合计；? ? ? ? 5、在main方法中，为Job对象指定各方面的设置，诸如：input和output文件目录、key和value数据类型、input和output的format等