弹性分布式数据集与Spark内存计算框架.pdfVIP

复习课(八)|弹性分布式数据集

2021‑12‑13黄金

《大数据经典解读》课程介绍

讲述:时长06:53

大小6.31M

你好，我是黄金。今天我们要一起回顾复习的内容，是关于开源系统Spark的这篇

引入了RDD概念的。

RDD介绍

RDD的全称是弹性分布式数据集，它允许开发人员在大规模集群上以容错的方式执

行内存计算。而Spark就是实现了RDD的分布式计算框架。

在Spark出现之前，并没有通用的分布式计算框架，可以高效地运行迭代算法。

MapReduce是通用的分布式计算框架，但不管是Mapper任务还是Reducer任务，它

MapReduce是通用的分布式计算框架，但无论是Mapper任务还是Reducer任务，它

们的执行结果都需要写入硬盘。这样一来，由多个MapReduce组合而成的迭代算法程

序，运行起来就不够高效。因此，如何有效地利用分布式内存，就成为了研究的重点。

APP

复习课（八）|ResilientDistributedDatasets

2021-12-13黄金

《大数据经典解读》课程介绍

讲述：

时长06:53大小6.31M

你好，我是黄金。今天我们要来一起回顾复习的内容，是开源系统Spark的这篇引入

了RDD概念的。

RDD介绍

RDD的全称是弹性分布式数据集，它允许开发人员在大规模集群上，以容错的方式执行内

存计算。而Spark就是实现了RDD的分布式计算框架。

在Spark出现之前，并没有通用的分布式计算框架，可以高效地运行迭代算法。

MapReduce是通用的分布式计算框架，但不管是Mapper任务还是Reducer任务，它

们的执行结果都需要写入硬盘。这样一来，由多个MapReduce组合而成的迭代算法程

序，运行起来就不够高效。因此，如何有效地利用分布式内存，就成为了研究的重点。

而在MapReduce，也出现了一些可以利用分布式内存的计算框架，它们将运算的

中间结果保存在内存当中。这些计算框架确实提升了执行效率，但是不够通用，只能服务

于特定的算法。

直到Spark的出现，才有了既高效又通用的分布式内存计算框架。

容错的分布式内存数据集

在设计RDD的时候，主要的就是如何定义编程接口，才能让RDD具备有效的故障恢

复能力。

我们先来看看MapReduce的结果集是如何容错的。Mapper任务把执行结果写入本地

文件，服务器即使宕机，重启后依然可以结果。对于不能恢复的服务器，只需要把它

负责的任务交给其他服务器，重新执行一遍即可。而Reducer任务是把执行结果写入

HDFS，由HDFS容错支持。

那么，RDD保存在内存中，又要如何避免服务器宕机带来的影响呢？

它的方式是利用上游的RDD，重新执行一遍任务，来生成丢失的数据。RDD以分布式的

方式存在，也就是由多个数据分片构成，一个数据分片损坏了，只需要重成这一个分

片的数据就好。所以RDD在编程接口上支持的更新操作，是粗粒度的操作。

所谓的粗粒度，是指RDD需要在整个数据集上执行完更新才可见，更新到一半的数据集不

可见。RDD是只读数据集，更新操作会让一个RDD变成另一个RDD，不存在中间状态，

这就让恢复数据变得容易了。

RDD定义和Spark编程接口

我们再来看看RDD的定义，中讲RDD是只读的、已分区的记录集合，RDD只能通

过明确的操作，以及通过两种数据创建：稳定系统中的数据；其他RDD。这个明确的操

作，是指map、filter和join这样的操作。

相信你现在应该就能明白，为什么RDD需要定义成只读的、经过明确操作来创建