厦门大学-大数据技术原理与应用.pptVIP

7.4.4矩阵乘法 Map函数：对每个矩阵元素产生一个键值对j,M,i, ，对每个矩阵元素产生一个键值对j,N,k, Reduce函数：对每个相同键j，输出所有满足形式 j,i,k, 的元组。 1. 自然连接阶段 7.4.4矩阵乘法 Map函数：对自然连接阶段产生的键值对 j, , ,... （其中每个 是对应的 和 的乘积），Map任务会产生p个键值对 , , , ..., , 。 Reduce函数：对每个键i,k，计算与此键关联的所有值的和，结果记为i,k,v，其中，v就是矩阵P的第i行第k列的值。 2.分组聚合阶段 7.5 MapReduce编程实践 7.5.1 任务要求 7.5.2 编写Map处理逻辑 7.5.3 编写Reduce处理逻辑 7.5.4 编写main方法 7.5.5 编译打包代码以及运行程序 7.5.1 任务要求 文件A的内容如下： China is my motherland I love China 文件B的内容如下： I am from China 期望结果如右侧所示： I 2 is 1 China 3 my 1 love 1 am 1 from 1 motherland 1 7.5.2 编写Map处理逻辑 Map输入类型为key,value 期望的Map输出类型为单词，出现次数 Map输入类型最终确定为Object,Text Map输出类型最终确定为Text,IntWritable 7.5.3 编写Reduce处理逻辑 在Reduce处理数据之前，Map的结果首先通过Shuffle阶段进行整理 Reduce阶段的任务：对输入数字序列进行求和 Reduce的输入数据为key,Iterable容器 7.5.4 编写main方法 public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //程序运行时参数 String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println(Usage: wordcount in out); System.exit(2); } Job job = new Job(conf,word count); //设置环境参数 job.setJarByClass(WordCount.class); //设置整个程序的类名 job.setMapperClass(MyMapper.class); //添加MyMapper类 job.setReducerClass(MyReducer.class); //添加MyReducer类 job.setOutputKeyClass(Text.class); //设置输出类型 job.setOutputValueClass(IntWritable.class); //设置输出类型 FileInputFormat.addInputPath(job,new Path(otherArgs[0])); //设置输入文件 FileOutputFormat.setOutputPath(job,new Path(otherArgs[1])); //设置输出文件 System.exit(job.waitForCompletion(true)?0:1);