基于MapReduce手机号流量汇总分析与实现思路.pdfVIP

思路分析：

我们要统计这个文件中，同一号的流量汇总。而我们可以从图1.1中发现，记录中

有段以不同的形式表示的流量，这时你会想到什么呢？那就是面向对象的

概念，我们可以自定义一个类来代表一个自定义类型去包含这几个值，用类中的属性，来表

示这几个字段，来方面我们对数据的操作。

现在我们按照MapReduce的分布式计算模型，分析一下如何实现我们的任务。首先我们

有过处理的原始文件(相当于k1,v1)，这个文件里着我需要的数据就是,那就是

一个的流量的汇总数据（相当于k3,v3）,而要从原始数据获得我们最终想要的数据，

这中间需要经过一个过程，对原始数据进行初步加工处理，形成中间结果(相当于k2,V2),

而K2,V2这时候代表什么呢？不难看出，将所有的原始数据经过map()函数的分组排序处

理后，得到一个中间结果，这个中间结果是一个键值对K2,V2,而这里的K2应该就是

号码，V2就是我们的自定义类型表示流量，最后将中间数据经过reduce()函数的归一

化处理，得到我们的最果