大数据技术应用（国家） 知识点3：Map和Reduce函数 Map和Reduce函数.docxVIP

PAGE4 / NUMPAGES4 Map和Reduce函数 Map和Reduce函数 摘 要：本章节主要讲解MapReduce函数，进一步了解mapper函数和reduce函数。 关键词：Mapper；Reduce； 1. MapReduce 原理 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 MapReduce工作流程大致分为两部分：（1）map先从HDFS上读取不同的文件，然后对其进行map操作，生成一个个带有标签（也就是key）的数据块；（2）带有相同标签（key）的数据块，会被分配到同一个Reduce上进行操作，从而得到最终结果，并将最终结果写回HDFS。 图1 MapReduce工作原理 从最经典的wordcount单词计数执行过程进行进一步的分析，大致包含四个部分：（1）输入文件使一串字符串，是不自带分区的文件，而是文本文件，所以多了一个拆分的步骤。（2）接下来对分割的文本进行Map阶段的操作，其分发的标签（key）是单词本身，分发的内容是每一段文本里出现该单词的数量。（3）接下来会进行一个分发操作，即相同标签（key）的数据会被收集到一起。（4）Reduce对收集之后分配过来的数据进行处理，最终结果汇总，就是单词计数的结果。计数流程如下图所示。 图2 Wordcount处理流程 2. Mapper函数介绍 2.1 Mapper函数的执行流程 Mapper在执行的过程中需传入的四个参数：输入输出类型为泛型。内部实现首先声明了类Context，传递了四个泛型，分别是输入的key类型、输入的value类型、输出的key类型、输出的value类型。Mapper函数定义了四个方法： （1）setup：定义Map的启动工作，比如读入一些配置、进行一些变量的初始化等 （2）map：定义实际的mapper阶段功能，比如数据读入、处理、打标签、分发等 （3）cleanup：定义mapper阶段之后收尾工作，比如多路输出等。 （4）run：实际执行程序的方法，先调用setup完成启动工作，然后调用map完成实际的mapper阶段功能，在所有map工作都完成之后，调用cleanup完成收尾工作。 public class MapperKEYIN, VALUEIN, KEYOUT, VALUEOUT{ public abstract class Context implements MapContextKEYIN, VALUEIN, KEYOUT, VALUEOUT { } setup(Context context) { } map(KEYIN key,VALUEIN value,Context context){context.write((KEYOUT) key, (VALUEOUT) value);} cleanup(Context context) { } run(Context context) { setup(context); try { map(context.getCurrentKey(), context.getCurrentValue().context); }finally { cleanup(context); } } } 2.2 Mapper函数的实现过程 （1）导入依赖包，java自带IO异常包，MapReduce中的IO包，hadoop-MapReduce中的Mapper 包。 import java,io.IOException; import org.apache.hadoop.io,Text; import org,apache.hadoop,mapreduce.Mapper; （2）定义类，需要继承Mapper类，并指明4个10泛型（key-in,value-in,key-out,value-out)。 public class MiniTestMapper extends MapperText, Text, Text, Text{ （3）定义两个out变量：key-out、value-out。 public Text write_key = new Text(); public Text write_value = new Text