分布式编程模式MapReduce应用参考.pdfVIP

分布式编程模式 MapReduce应用 Hadoop 是 Google MapReduce的一个 Java 实现。 MapReduce是一种简化的 分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执 行。就如同 java 程序员可以不考虑内存泄露一样， MapReduce 的 run-time 系统 会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效， 并且管理机器之间的通讯请求。 这样的模式允许程序员可以不需要有什么并发处 理或者分布式系统的经验，就可以处理超大的分布式系统得资源。 一、概论 作为 Hadoop程序员，他要做的事情就是： 1、定义 Mapper，处理输入的 Key-Value 对，输出中间结果。 2、定义 Reducer，可选，对中间结果进行规约，输出最终结果。 3、定义 InputFormat 和 OutputFormat，可选， InputFormat 将每行输入文件 的内容转换为 Java 类供 Mapper 函数使用，不定义时默认为 String。 4 、定义 main 函数，在里面定义一个 Job 并运行它。 然后的事情就交给系统了。 1.基本概念： Hadoop 的 HDFS 实现了 google 的 GFS 文件系统， NameNode 作为文件系统的负责调度运行在 master， DataNode 运行在每个机器上。同时 Hadoop 实现了 Google 的 MapReduce，JobTracker作为 MapReduce 的总调度运行 在 master，TaskTracker则运行在每个机器上执行 Task。 2.main()函数，创建 JobConf，定义 Mapper，Reducer，Input/OutputFormat 和 输入输出文件目录，最后把 Job 提交给 JobTracker，等待 Job 结束。 3.JobTracker，创建一个 InputFormat 的实例，调用它的 getSplits()方法，把 输入目录的文件拆分成 FileSplist 作为 Mapper task 的输入，生成 Mapper task加 入 Queue。 4.TaskTracker 向 JobTracker索求下一个 Map/Reduce。 Mapper Task 先从 InputFormat 创建 RecordReader，循环读入 FileSplits 的内 容生成 Key 与 Value，传给 Mapper 函数，处理完后中间结果写成 SequenceFile. Reducer Task 从运行 Mapper 的 TaskTracker 的 Jetty 上使用 http 协议获取所 需的中间内容（ 33% ），Sort/Merge 后（66% ），执行 Reducer 函数，最后按照 OutputFormat 写入结果目录。 TaskTracker 每 10 秒向 JobTracker 报告一次运行情况，每完成一个 Task10 秒后，就会向 JobTracker 索求下一个 Task。 Nutch 项目的全部数据处理都构建在 Hadoop之上， 详见 Scalable Computing with Hadoop 。 二、程序员编写的代码 我们做一个简单的分布式的 Grep，简单对输入文件进行逐行的正则匹配， 如果符合就将该行打印到输出文件。因为是简单的全部输出，所以我们只要写 Mapper 函数，不用写 Reducer函数，也不用定义 Input/Output Format。 package demo.hadoop public class HadoopGrep { public stat