使用MapReduce分析数据.doc

《云计算及应用》 实验报告 项目名称 使用MapReduce分析数据 专业班级 学 号 姓 名 实验成绩： 批阅教师： 2016年6 月3 日  实验3《使用MapReduce分析数据》 实验学时： 2 实验地点： 实验日期： 一、实验目的 1.掌握MapReduce的使用方法 2.学会使用MapReduce分析数据 二、实验内容 1.运行MapReduce的wordcount实例 2.使用MapReduce完成二度朋友的实验 三、实验方法 包括实验方法、原理、技术、方案等。 四、实验步骤 1. 打开hadoop的各个节点 2. 运行hadoop中的wordcount实例 3. 编写并编译二度朋友实验的代码 4. 将要处理的数据传送到hadoop中 5. 运行代码处理数据。 五、实验结果 记录实验输出数据和结果。 六、实验结论 1. 创建wordcount_in文件夹 2. 创建text.txt文件用来保存要处理的数据 3. 将要处理的文件text.txt上传到hadoop 4. 运行hadoop-example实例 5 查看运行的结果 6. 编写二度朋友实验的代码 import java.io.IOException; import java.util.Random; import java.util.Vector; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class deg2friend { public static class job1Mapper extends MapperObject, Text, Text, Text{ private Text job1map_key = new Text(); private Text job1map_value = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String eachterm[] = value.toString().split(,|\t); for(int i=1; ieachterm.length; i++) { if(eachterm[0].compareTo(eachterm[i])0){ job1map_value.set(eachterm[0]+\t+eachterm[i]); } else if(eachterm[0].compareTo(eachterm[i])0){ job1map_value.set(eachterm[i]+\t+eachterm[0]); } job1map_key.set(eachterm[0]); context.write(job1map_key, job1map_value); job1map_key.set(eachterm[i]);