学习hadoop第二步 MapReduce任务的基础知识6.docxVIP

2 MapReduce任务的基础知识2.1 Hadoop MapReduce作业的基本构成要素12.1.1 输入分割块52.1.2 一个简单的Map任务：IdentityMapper52.2 配置作业102.2.1 指定输入格式222.2.2 设置输出参数242.2.3 配置Reduce阶段302.3 执行作业322.4 创建客户化的Mapper和Reducer35这一章，我们将整体的介绍MapReduce作业。读完本章，你能编写和执行单机模式的MapReduce作业程序。本章中的样例程序假设你已经完成了第一章的设置。你可以在一个专用的本地模式配置下，使用一台单机执行这些样例程序，你不需要启动Hadoop核心框架。对于调试和单元测试，单机模式配置是最理想的。你能够从Apress网站()上这本书所在的页面下载这些样例代码。这些可下载的代码也包含一个用来执行样例程序的JAR文件。下面我们就开始查看MapReduce作业的必要组成要素。2.1 Hadoop MapReduce作业的基本构成要素用户可以配置和向框架提交MapReduce任务（简言之，作业）。一个MapReduce作业包括Map任务，混淆过程，排序过程和一套Reduce任务。然后框架会管理作业的分配和执行，收集输出和向用户传递作业结果。用户负责处理作业初始化，指定输入位置，指定输入和确保输入格式和位置是正确无误的。框架负责在