实验3-MapReduce编程初级实践.docVIP

实验3 MapReduce编程初级实践 实验3 MapReduce编程初级实践 实验目的 1.通过实验掌握基本的MapReduce编程方法； 2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 实验平台 已经配置完成的Hadoop伪分布式环境。 实验内容和要求 1.编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 实验最终结果（合并的文件）： 代码如下： package com.Merge; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class Merge { public static class Map extends MapperObject, Text, Text, Text { private static Text text = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { text = value; context.write(text, new Text()); } } public static class Reduce extends ReducerText, Text, Text, Text { public void reduce(Text key, IterableText values, Context context) throws IOException, InterruptedException { context.write(key, new Text()); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); String[] otherArgs = new String[] { input, output }; if (otherArgs.length != 2) { System.err.println(Usage: Merge and duplicate removal in out); System.exit(2); } Job job = Job.getInstance(conf, Merge and duplicate removal); job.setJarByClass(Merge.class); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(jo