Hap实验数据去重.doc

Hadoop实验报告数据去重 问题背景： 随着存储数据信息量的速增长，去重无疑成为众多大数据科研 人员要面对的问题之一。因此越来越多的人开始关注存储数据的缩减 方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储 数据缩减技术。 重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据 删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容 量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势， 并对扩展性有所帮助。 举个简单的例子：在专门为电信运营商定制的呼叫详单去重应用 程序中，我们就可以看到删除重复数据的影子。同样的，对于包含相 同数据包的通信网络，我们可以使用这种技术来进行优化。 问题描述： 编写MapReduce程序读取文本文件，去掉所有数据中的重 复数据后输出结果。 实验名称：数据去重 实验目的： 1、 基本了解一个Hadoop程序的结构、编译、封装、运行、 查看结果等流程。 2、 掌握并利用并行化编程思想对数据做有意义的筛选。 头验要求： 完成MapReduce程序，测试其对数据的筛选能力。 输入：输入是一组文本文件，在每个输入文件中每一行是一个数 据。每一个元数据都是一个字符申。 输出：输出文件的每一行都是在输入文件中出现过的一个数据， 并且输出文件中的每一行都不相同。 数据样例】 输入： inputl: 2015-1-1 a 2015-1-2 b 2015-1-3 c 2015-1-4 d 2015-1-5 a 2015-1-6 b 2015-1-7 c 2015-1-8 c input2: 2015-1-1 b 2015-1-2 a 2015-1-3 b 2015-1-4 d 2015-1-5 a 2015-1-6 c 2015-1-7 d 2015-1-8 c 输出： 2015-1-1 a 2015-1-1 b 2015-1-2 a 2015-1-2 b 2015-1-3 b 2015-1-3 c 2015-1-4 d 2015-1-5 a 2015-1-6 b 2015-1-6 c 2015-1-7 c 2015-1-7 d 2015-1-8 c 设计思路: 数据去重的最终0标是让原始数据中出现次数超过一次的数据 在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有 记彔都交给一台reduce机器，无论这个数掘出现多少次，只要在最 终结果中输出一次就可以了。 具体就是reduce的输入应该以数据作为key，而对value-list则没 有要求。当reduce接收到一个＜key，value-list〉时就直接将key复制 到输出的key中，并将value设置成空值。 在 MapReduce 流程中，map 的输出＜key，value〉经过 shuffle 过 程聚集成＜key，value-list〉后会交给reduce。所以从设计好的reduce 输入可以反推出map的输出key应力数掘，value任意。继续反推， map输出数据的key为数据，而在这个实例中每个数据代表输入文件 中的一行内容，所以map阶段要完成的任务就是在采用Hadoop默认 的作业输入方式之后，将value设置力key，并直接输出（输出中的 value任意）。map中的结果经过shuffle过程之后交给reduce。reduce 阶段不会管每个key有多少个value，它直接将输入的key复制为输出 的key，并输出就可以了（输出中的value被设置成空了）。 实验内容和过程： import java. io. IOException; import java. util. StringTokenizer; import org. apache, hadoop. conf. Configuration; import org. apache, hadoop. fs. Path; import org. apache, hadoop. io. IntWritable; import org. apache, hadoop. io. Text; import org. apache, hadoop. mapreduce. Job; import org. apache, hadoop. mapreduce. Mapper; import org. apache, hadoop. mapreduce. Reducer; import org. apache, hadoop. mapreduce. lib. input. FilelnputFormat; import org. apache, hadoop. mapreduce. lib. output. FileOutputFormat; import or