WordCount示例程序测试方法.docxVIP

MapReduce示例程序WordCount 启动eclipse 用hadoop用户运行如下命令： eclipse 勾选Use this as the default and do not ask again，这样以后再启动eclipse时就不会再出现该窗口！ 创建一个WordCount项目 创建一个com.zqf.wordcount包 创建一个WordMapper类 package com.zqf.wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; // 创建一个 WordMapper类 继承于 Mapper抽象类 public class WordMapper extends MapperObject, Text, Text, IntWritable { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); // Mapper抽象类的核心方法，三个参数 public void map(Object key, // 首字符偏移量 Text value, // 文件的一行内容 Context context) // Mapper端的上下文，与 OutputCollector 和 Reporter 的功能类似 throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } 创建一个WordReducer类 package com.zqf.wordcount; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; // 创建一个 WordReducer类 继承于 Reducer抽象类 public class WordReducer extends ReducerText, IntWritable, Text, IntWritable { private IntWritable result = new IntWritable(); // 用于记录 key 的最终的词频数 // Reducer抽象类的核心方法，三个参数 public void reduce(Text key, // Map端 输出的 key 值 IterableIntWritable values, // Map端 输出的 Value 集合（相同key的集合） Context context) // Reduce 端的上下文，与 OutputCollector 和 Reporter 的功能类似 throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) // 遍历 values集合，并把值相加 { sum += val.get(); } result.set(sum); // 得到最终词频数 context.write(key, result); // 写入结果 } } 创建一个WordMain类 package com.zqf.wordcount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job;