MapReduce应用开发方案.PDFVIP

第5 章 MapReduce 应用开发 在第 2 章中，我们介绍了 MapReduce 模型。在本章中，我们来看看在 Hadoop 中开 发 MapReduce 应用程序的实际过程。 用 MapReduce 来编写程序，有一个特定的流程。首先写 map 函数和 reduce 函数， 最好使用单元测试来确保函数的运行符合预期。然后，写一个驱动程序来运行作 业，要看这个驱动程序是否可以运行，可以从本地 IDE 用一个小的数据集来运行 它。如果驱动程序不能正确运行，就用本地 IDE 调试器来找出问题根源。通过这 些调试信息，可以加大单元测试使其覆盖这一测试用例，从而改进 mapper 或 reducer ，尽可能正确地处理这些输入。 一旦程序如期通过小的数据集的测试，就可以准备运行到集群上。当程序运行在整 个数据集的时候，可能会暴露更多的问题，这些问题可以像前面一样进行修复，即 扩大测试用例进而改进 mapper 或 reducer 函数。虽然在集群上调试程序很具有挑 战性，但 Hadoop 提供了一些辅助工具，例如 IsolaionRunner ，该工具允许在失 败的相同输入数据上(必要时用附带的调试器) 来运行任务。 程序可以正确运行后，你可能想进行一些优化调整，首先执行一些标准检查，借此 加快MapReduce 程序的运行，然后再做一些任务剖析(task profiling )。分布式程序 的分析并不简单，Hadoop 提供了钩子(hook )来辅助这个分析过程。 129 在开始写 MapReduce 程序之前，需要设置和配置开发环境。为此，首先需要学习 如何配置Hadoop 。 130 第5 章 配置API Hadoop 中，组件的配置是通过 Hadoop 提供的 API 来进行的。一个 Configuration 类的实例(可以在 org.apache.hadoop.conf 包中找到)代表配置属性 及其取值的一个集合。每个属性由一个 String 来命名，而值类型可以是多种类型 之一，包括 Java 基本类型(如 boolean、int、long 和 float)和其他有用的类型 (如 String、Class、java.io.File 和 String 集合)。 Configuration 从 XML 文件(由一个简单的结构定义名-值对)中读取其属性值。 参见例 5- 1。 例 5-1 一个简单的配置文件configuration-1.xml ?xml version=1.0? configuration property namecolor/name valueyellow/value descriptionColor/description /property property namesize/name value10/value descriptionSize/description /property property nameweight/name valueheavy/value finaltrue/final descriptionWeight/description /property property namesize-weight/name value${size},${weight}/value descriptionSize and weight/description /property /configuration 假定此配置文件的文件名是 configuration - 1.xml ，我们可以通过如下代码访问其 属性 ： Configuration conf = new Conf