4MapReduce例子研讨.pptxVIP

MapReduce例子 刘祥涛 2017-4-6 回顾MapReduce编程 单词计数 数据去重 排序 平均成绩 单表关联 编程环境准备 编程环境准备： 安装配置Java环境 安装配置Hadoop 安装Eclipse(Version: 3.3.2) 安装插件hadoop-0.20.2-eclipse-plugin.jar MapReduce编程过程 就是继承类与实现接口的过程。这些类与接口来自于Hadoop的Map-Reduce框架，由框架控制其执行流程。 Java多态性：对象的引用型变量。 编程过程的三个阶段： 输入阶段 计算阶段 输出阶段 MapReduce编程过程 与输入相关的几个抽象类 InputFormat 文件分割，读取。FileInputFormat从文件中读取数据。 InputSplits 定义了输入到单个Map任务的输入数据。 RecordReader 定义了如何从数据上转化为一个(key,value)对，从而输出到Mapper类中。 与计算相关的几个抽象类 Mapper map()方法处理输入K1, V1，产生输出K2, V2。 Reducer reduce()方法处理Map的输入K2, list(V2)，产生输出K3, V3。 Combiner 实现Reducer接口，对map()输出进行规约。 Partitioner 分发map()输出给不同的Reduce任务。 与输出相关的几个抽象类 OutputFormat 数据输出。FileOutputFormat输出到文件。 RecordWriter 输出一个记录到文件中。 其它重要类与接口 Configuration类 读取配置文件。如：core-default.xml、core-site.xml等。 Job类 配置、提交Job，控制其执行，查询其状态。 Writable接口 序列化输入输出。任何Key, Value都需要实现它。 WritableComparable接口 可比较的序列化输入输出。任何Key都需要实现它。 实例1：WordCount分析 参见 例子/WordCount.java 实例2：数据去重 目的： 利用并行化思想来对数据进行有意义的筛选。 应用场景： 统计大数据集上的数据种类个数 从网站日志中计算访问等问题中的数据去重。 实例描述 file1： file2： 输出： 实例2：数据去重 问题分析 数据去重的最终目标是让原始数据中出现次数=1的数据在输出文件中只出现一次。 我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。 具体就是reduce的输入应该以数据作为key，而对value-list则没有要求。当reduce接收到一个key，value-list时就直接将key复制到输出的key中，并将value设置成空值。 实例2：数据去重 算法设计 k1,v1?map?k2,v2?合并shuffle?k2,v_list?reduce?k3,v3 在MapReduce流程中，map的输出key，value经过shuffle过程聚集成key，value-list后会交给reduce。 所以从设计好的reduce输入可以反推出map的输出key应为数据，value任意。 继续反推，map输出数据的key为数据，而在这个实例中每个数据代表输入文件中的一行内容，所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后，将value设置为key，并直接输出（输出中的value任意）。 map中的结果经过shuffle过程之后交给reduce。reduce阶段不会管每个key有多少个value，它直接将输入的key复制为输出的key，并输出就可以了（输出中的value被设置成空了）。 实例2：数据去重 代码：见 例子/ Dedup.java 编译： $cd ~/hadoop-1.1.1 $vi Dedup.java $mkdir Dedup $javac -classpath hadoop-core-1.1.1.jar:lib/commons-cli-1.2.jar -d Dedup Dedup.java $ ~/jdk1.6.0_37/bin/jar -cvf dedup.jar -C Dedup/ . 实例2：数据去重 创建输入 上传到hadoop $bin/hadoop fs -put dedup_input dedup_in 查看hdfs $ bin/hadoop fs -ls /user/liuxt/dedup_in 实例2：数据去重 执行 $ bin/hado