复习课二mapreduce海量资源.pdfVIP

2021/11/7复习课（二）|

APP

复习课（二）|

2021-11-03黄金

《大数据经典解读》课程介绍

讲述：



时长08:47大小8.05M

你好，我是黄金。欢迎来到第二期复习课，今天我们来回顾的知识点。

MapReduce介绍

在的第1节“Introduction”中，作者提到过去5年里，的同事们实现了上

百个针对特定领域的大数据分析程序这促使他们思考开发一种更通用的编程模型让开

百个针对特定领域的大数据分析程序，这促使他们思考开发一种更通用的编程模型，让开

发者能够专注于分析程序的业务逻辑，而不需要关心分布式领域的复杂问题。

MapReduce的编程模型也并非是作者首创，而是借鉴了Lisp这类函数式编程语言的

MapReduce的编程模型也并非是作者首创，而是借鉴了Lisp这类函数式编程语言的

想。熟悉JavaStreamAPI的同学对这种编程模式应该都不陌生，它实际上就是map、

想。熟悉JavaStreamAPI的同学对这种编程模式应该都不陌生，它实际上就是map、

groupingBy、reduce之类的操作，这种编程模型分离了程序的业务逻辑和控制逻辑，使

得程序在大规模的分布式环境下运行成为了可能。

1/6

2021/11/7复习课（二）|

另外，尽管编程模型非常简单，现实中的大多数任务却都可以用这种编程模

型来表达，这在函数式编程语言中已经得到了证明，它为后来广泛地流行奠

定了基础。

在第6.1节“Large-ScaleIndexing”中就给出了一个例子，说明用重

写的索引服务带来的显著收益：第一，代码更精简，也更容易理解，原来用来实现某个计

算功能的代码有3800行，重构后只有700行；第二，性能更好，原来改变索引需要几个

月，现在只要几天；第三，更容易，也更容易提升性能，因为分布式问题都交给了

MapReduce框架来处理。

那么总结一下，MapReduce主要有三个特点。第一，简单的编程模型；第二，丰富的表

达能力；第三，能够有效利用分布式系统的资源。

编程模型

使用编程模型，只需要实现两个函数，一个是Map函数，另一个是

Reduce函数。

Map函数，是接受一个key-value对，返回一组新的key-value对，它通常被用来做数

据变换。而Reduce函数，是接受一个key，以及一组相关的value，然后返回一组新的

value，它通常被用来做数据规约，比如分组计数。如果你对于API还不够清楚的话，可以

参考下面的代码：

代码

1map:(k1,v1)-list(k2,v2)

2reduce:(k2,list(v2))-list(v3)

执行概览

在的第3.1节“ExecutionOverview”中，描述了的