Hadoop编程入门.docVIP

Hadoop编程入门Hadoop 是Google MapReduce的一个Java 实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的 run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不 需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。 　　一、概论 　　作为Hadoop程序员，他要做的事情就是： 　　定义Mapper，处理输入的Key-Value对，输出中间结果。 　　定义Reducer，可选，对中间结果进行规约，输出最终结果。 　　定义InputFormat 和OutputFormat， 可选，InputFormat将 每行输入文件的内容转换为Java类供Mapper函数使用，不定义时默认为String。 　　定义main函数，在里面定义一个Job并运行它。 然后的事情就交给系统了。 　　基本概念：Hadoop的HDFS实现了google的GFS文件系统，NameNode作 为文件系统的负责调度运行在master，DataNode运 行在每个机器上。同时Hadoop实现了Google的MapReduce，JobTracker作 为MapReduce的 总调度运行在master，TaskTracker则 运行在每个机器上执行Task。 　　main()函数，创建JobConf， 定义Mapper，Reducer，Input/OutputFormat 和输入输出文件目录，最后把Job提交給JobTracker， 等待Job结束。 　　JobTracker， 创建一个InputFormat的 实例，调用它的getSplits()方法，把输入目录的文件拆分成FileSplist作 为Mapper task 的输入，生成Mapper task加入Queue。 TaskTracker 向 JobTracker索 求下一个Map/Reduce。 　　Mapper Task先从InputFormat创 建RecordReader， 循环读入FileSplits的 内容生成Key与Value，传给Mapper函数，处理完后中间结果写成SequenceFile. Reducer Task 从运行Mapper的TaskTracker的 Jetty上使用http协议获取所需的中间内容(33%)，Sort/Merge后(66%)，执行Reducer函数，最后按照 OutputFormat写 入结果目录。 　　TaskTracker 每10秒向JobTracker报 告一次运行情况，每完成一个Task10秒后，就会向JobTracker索 求下一个Task。 　　Nutch项目的全部数据处理都构建在Hadoop之上，详见Scalable Computing with Hadoop。 　　二、程序员编写的代码 　　我们做一个简单的分布式的Grep，简单对输入文件进行逐行的正则匹配，如果符合就将该行打印到输出文件。因为是简单的全部输出，所以我 们只要写Mapper函数，不用写Reducer函数，也不用定义Input/Output Format。 　　package demo.hadoop public class HadoopGrep { 　　public static class RegMapper extends MapReduceBase implements Mapper { 　　private Pattern pattern; 　　public void configure(JobConf job) { pattern = Ppile(job.get( mapred.mapper.regex )); 　　} 　　public void map(WritableComparable key, Writable value, OutputCollector output, Reporter reporter) 　　throws IOException { 　　String text = ((Text) value).toString(); Matcher matcher = pattern.matcher(text); 　　if (matcher.find()) { output.collect(key, value); 　　} 　　} 　　} 　　private HadoopGrep () { 　　} // singleton 　　public static void main(String[] arg