Mapreduce应用案例15课件讲解.pptVIP

Mapreduce应用案例

学习目标2知识目标●计数类应用●去重计数类应用能力目标●了解计数类应用●了解去重计数类应用

MapReduce的应用案例3目录计数类应用去重计数类应用

MapReduce的应用案例4前面通过WordCount示例的设计思路以及Map、Reduce执行过程了解了MapReduce模型的工作原理等内容，为编写MapReduce应用程序打下了应有的基础，下面将结合实例介绍MapReduce应用程序设计开发的模式，并给出关键代码。

计数类应用5应用需求：在前面章节中介绍了WordCount实例作为MapReduce模式下变成的实例程序，通过这个程序初步理解了MapReduce程序的结构及执行过程。实际上计数是大数据处理中比较常见的一种应用场景，这类应用的数据文件中包括大量的记录，每条记录中包含某类事物的若干属性，在实际应用中需要根据这类事物的某个属性进行数值计算，如求和、平均值等。

计数类应用6应用场景：这样的应用场景有从话单中分析话费统计、数据统计以及联系人之间通话频次的统计；对log文件进行分析，每条记录都包含一个响应时间，需要计算出平均响应时间。解决方案：针对这类应用，在Map函数中提取每条记录中这类事物的特定属性值，在Reduce函数中对所有相同的事物属性值按照函数表达式进行运算。

计数类应用7应用案例：WordCount就是经典的计数类应用中的求和案例