mapreduce代码示例(借鉴).pdfVIP

mmaapprreedduuccee代代码码示示例例 ((借借鉴鉴)) 分类： hadoop_java 2013-12-09 1 :37 279人阅读 评论 (2) 收藏 举报 mapreduce 代码 Hadoop集群 （第9期）_MapReduce初级案例 11、、数数据据去去重重  数数据据去去重重主要是为了掌握和利用并并行行化化思思想想来对数据进行有有意意义义的筛筛选选 。统统计计大大数数据据集集上上的的数数据据种种类类个个 数数、从从网网站站 日日志志中中计计算算访访问问地地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设 计。 11..11 实实例例描描述述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输输入入如下所示：      11））ffiillee11：：   2012-3-1 a 2012-3-2 b -33--33 cc -33--44 dd -33--55 aa 2012-3- b 2012-3-7 c