Hadoop集群_第9期_MapReduce初级案例_V1.0.pdf

细细品味Hadoop ——Hadoop 集群 （第 9 期） 精 华 集 锦 csAxp / 2012 年3 月9 日 创建时间：2012/3/9 修改时间：2012/3/11 修改次数：0 目录 1、本期内容2 1.1 数据去重2 1.1.1 实例描述2 1.1.2 设计思路3 1.1.3 程序代码3 1.1.4 代码结果5 1.2 数据排序7 1.2.1 实例描述7 1.2.2 设计思路8 1.2.3 程序代码8 1.2.4 代码结果 10 1.3 平均成绩 11 1.3.1 实例描述 12 1.3.2 设计思路 12 1.3.3 程序代码 13 1.3.4 代码结果 15 1.4 单表关联 17 1.4.1 实例描述 17 1.4.2 设计思路 18 1.4.3 程序代码 19 1.4.4 代码结果23 1.5 多表关联27 1.5.1 实例描述27 1.5.2 设计思路28 1.5.3 程序代码28 1.5.4 代码结果32 1.6 倒排索引33 1.6.1 实例描述33 1.6.2 设计思路35 1.6.3 程序代码37 1.6.4 代码结果40 2 、参考文献42 3、打赏小编43 中国·北京——虾皮工作室（ ） 编辑：虾皮 1 创建时间：2012/3/9 修改时间：2012/3/11 修改次数：0 Hadoop 集群（第9 期） ——MapReduce 初级案例 1、本期内容 1.1 数据去重 “数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数 据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去 重。下面就进入这个实例的MapReduce 程序设计。 1.1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示： 1）file1： 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 c 2 ）file2： 2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-5 a 2012-3-6 c 2012-3-7 d 2012-3-3 c 样例输出如下所示： 中国·北京——虾皮工作室