Hadoop教程3.docxVIP

Hadoop Map/Reduce教程(二)运行样例输入样例：$ bin/hadoopdfs -ls /usr/joe/wordcount/input//usr/joe/wordcount/input/file01/usr/joe/wordcount/input/file02$ bin/hadoopdfs -cat /usr/joe/wordcount/input/file01Hello World, Bye World!$ bin/hadoopdfs -cat /usr/joe/wordcount/input/file02Hello Hadoop, Goodbye to hadoop.运行程序：$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output 输出：$ bin/hadoopdfs -cat /usr/joe/wordcount/output/part-00000 Bye 1Goodbye 1Hadoop, 1Hello 2World! 1World, 1hadoop. 1to 1注意此时的输入与第一个版本的不同，输出的结果也有不同。 现在通过DistributedCache插入一个模式文件，文件中保存了要被忽略的单词模式。 $ hadoopdfs -cat /user/joe/wordcount/patterns.txt\.\,\!to再运行一次，这次使用更多的选项：$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount -Dwordcount.case.sensitive=true /usr/joe/wordcount/input /usr/joe/wordcount/output -skip /user/joe/wordcount/patterns.txt 应该得到这样的输出：$ bin/hadoopdfs -cat /usr/joe/wordcount/output/part-00000 Bye 1Goodbye 1Hadoop 1Hello 2World 2hadoop 1再运行一次，这一次关闭大小写敏感性（case-sensitivity）：$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount -Dwordcount.case.sensitive=false /usr/joe/wordcount/input /usr/joe/wordcount/output -skip /user/joe/wordcount/patterns.txt 输出：$ bin/hadoopdfs -cat /usr/joe/wordcount/output/part-00000 bye 1goodbye 1hadoop 2hello 2world 2程序要点通过使用一些Map/Reduce框架提供的功能，WordCount的第二个版本在原始版本基础上有了如下的改进： 展示了应用程序如何在Mapper (和Reducer)中通过configure方法修改配置参数(28-43行)。展示了作业如何使用DistributedCache来分发只读数据。这里允许用户指定单词的模式，在计数时忽略那些符合模式的单词(104行)。展示Tool接口和GenericOptionsParser处理Hadoop命令行选项的功能 (87-116, 119行)。展示了应用程序如何使用Counters(68行)，如何通过传递给map（和reduce）方法的Reporter实例来设置应用程序的状态信息(72行)。Java和JNI是Sun Microsystems, Inc.在美国和其它国家的注册商标。第二章 MapReduce (一)hadoop_the_definitive_guideMapReduce是一种用于数据处理的编程模式。这种模式通常是比较简单的，但是编程过程中通常不会被简单的表达和方便的应用。Hadoop能够支持各种语言的Mapreduce的变成实现。在本章，我们将列举出JAVA，Ruby,Python和C++这些语言的变成实现。这里的MapReduce编程，能够在灵活的使用和配置足够的机器，去处理那些海量数据的分析。MapReduce本身就是为处理海量数据而生，那么让我们开始学习吧。天气数据我们使用天气的数据作为我们的示例，通常气象站几乎在每个小时，很多地点都在手机我们的气温信息，并采用日志的方式记录下来，所以用MapReduce来分析这些数据是在合适不过了。