4MapReduce例子.pptxVIP

MapReduce例子刘祥涛2016-12-3回顾MapReduce编程单词计数数据去重排序平均成绩单表关联编程环境准备编程环境准备：安装配置Java环境安装配置Hadoop安装Eclipse(Version:3.3.2)安装插件hadoop-0.20.2-eclipse-plugin.jarMapReduce编程过程就是继承类与实现接口的过程。这些类与接口来自于Hadoop的Map-Reduce框架，由框架控制其执行流程。Java多态性：对象的引用型变量。编程过程的三个阶段：输入阶段计算阶段输出阶段MapReduce编程过程与输入相关的几个抽象类InputFormat 文件分割，读取。FileInputFormat从文件中读取数据。InputSplits 定义了输入到单个Map任务的输入数据。RecordReader 定义了如何从数据上转化为一个(key,value)对，从而输出到Mapper类中。与计算相关的几个抽象类Mapper map()方法处理输入K1,V1，产生输出K2,V2。Reducer reduce()方法处理Map的输入K2,list(V2)，产生输出K3,V3。Combiner 实现Reducer接口，对map()输出进行规约。Partitioner 分发map()输出给不同的Reduce任务。与输出相关的几个抽象类OutputFormat 数据输出。File