大数据MapReduce编程作业：统计手机号流量分析.pdfVIP

1.需求：

统计每一个号耗费的总上行流量、下行流量、总流量

2.数据准备：

(1)输入数据格式：

时间戳、、的地址、的ip、、数

据包、接包数、上行/传流量、下行/载流量、响应码

(2)最终输出的数据格式：

上行流量下行流量总流量

3.基本思路：

(1)Map阶段：

(a)一行数据，切分字段

(b)抽取号、上行流量、下行流量

(c)以号为key，bean对象为value输出，即context.write(手

机号,bean);

(2)Reduce阶段：

(a)累加上行流量和下行流量得到总流量。

(b)实现自定义的bean来封装流量信息，并将bean作为map输出

的key来传输

(c)MR程序在处理数据的过程中会对数据排序(map输出的kv对传

输到reduce之前，会排序)，排序的依据是map输出的key

所以，我们如果要实现自己需要的排序规则，则可以考虑将排序因素

放到key中，让key实现接口：WritableComparable。

然后重