mapreduce莎士比亚文集Wordcount.doc

Mapreduce程序设计报告 姓名： 学号： 题目： 莎士比亚文集WordCount 实验环境 联想pc机 虚拟机：VM 10.0 操作系统：Centos 6.4 Hadoop版本：hadoop 1.2.1 Jdk版本：jdk-7u25 Eclipse版本：eclipse-SDK-4.2.2-linux-gtk-x86_64 实验设计及源程序 2.1实验说明 对莎士比亚文集文档数据进行处理，统计所有除Stop-Word（如a, an, of, in, on, the, this, that,…)k次以上这个类实现 Mapper 接口中的 map 方法，输入参数中的 value 是文本文件中的一行，利用StringTokenizer 将这个字符串拆成单词，将输出结果public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { //System.out.println(key+..........+value); String line=value.toString(); String s; //将文本中的非字母和数字符号转换成空格 Pattern p =Ppile([(,.:;|?!)]); Matcher m=p.matcher(line); String line2=m.replaceAll( ); //System.out.println(line2); StringTokenizer itr = new StringTokenizer(line2); //将字符串拆成单词 while (itr.hasMoreTokens()) { s=itr.nextToken(); word.set(s); if(!ls.contains(s)) context.write(word, one); } } } (2)IntSumReducer类 这个类实现Reducer 接口中的 reduce 方法, 输入参数中的 key, values 是由 Map任务输出的中间结果，values 是一个 Iterator, 遍历这个 Iterator, 就可以得到属于同一个 key 的所有 value.此处，key 是一个单词，value 是词频。只需要将所有的 value 相加，就可以得到这个单词的总的出现次数。public static class IntSumReducer extends ReducerText,IntWritable,Text,IntWritable { private IntWritable result = new IntWritable(); public void reduce(Text key, IterableIntWritable values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } （3）IntWritableCompare类 这个类实现了对IntWritabl类型数据的降序排列public static class IntWritableCompare extends I