大数据平台构建：一个简单的MapReduce程序.pptxVIP

一个简单的MapReduce程序 WordCount单词统计 1 代码实现 2 目 录 一个非常经典的MapReduce案例——WordCount单词统计。 什么是MapReduce 一、WordCount单词统计 二、代码实现 对于map函数的方法。 Mapper的实现 public void map(Object key, Text value, Context context) throws IOException, InterruptedException {…} 二、代码实现 对于reduce函数的方法。 Reducer的实现 public void reduce(Text key, IterableIntWritable values, Context context) throws IOException, InterruptedException {…} 二、代码实现 对于main函数的调用。 Main方法的实现 Configuration conf = new Configuration(); 二、代码实现 运行MapReduce程序前都要初始化Configuration，该类主要是读取MapReduce系统配置信息，这些信息包括hdfs还有MapReduce，也就是安装hadoop时候的配置文件 例如： core-site.xml、hdfs-site.xml和mapred-site.xml等等文件里的信息，有些童鞋不理解为啥要这么做，这个是没有深入思考MapReduce计算框架造成，我们程序员开发MapReduce时候只是在填空，在map函数和reduce函数里编写实际进行的业务逻辑，其它的工作都是交给MapReduce框架自己操作的，但是至少我们要告诉它怎么操作啊，比如hdfs在哪里，MapReduce的jobstracker在哪里，而这些信息就在conf包下的配置文件里。 Main方法的实现 二、代码实现 Main方法的实现 二、代码实现 构建一个job，分别设置Job名称、指定程序执行入口。 Main方法的实现 二、代码实现 装载map函数和reduce函数实现类。 定义输出的key/value的类型，也就是最终存储在HDFS上结果文件的key/value的类型。 Main方法的实现 二、代码实现 构建输入的数据文件，构建输出的数据文件。 Main方法的实现 二、代码实现 提交MapReduce任务。 Main方法的实现 习题： 1、MapReduce中Mapper如何实现？ 2、MapReduce中Reducer如何实现？ 3、请写出WordCount单词统计的MapReduce实现代码？ 习题 谢谢观看