弹性分布式数据集RDD：Spark核心概念与实现.pdfVIP

APP

复习课（八）|ResilientDistributedDatasets

2021-12-13黄金

《大数据经典解读》课程介绍

讲述：



时长06:53大小6.31M

你好，我是黄金。今天我们要来一起回顾复习的内容，是开源系统Spark的这篇引入

了RDD概念的。

RDD介绍

RDD的全称是弹性分布式数据集，它允许开发人员在大规模集群上，以容错的方式执行内

存计算。而Spark就是实现了RDD的分布式计算框架。

在Spark出现之前，并没有通用的分布式计算框架，可以高效地运行迭代算法。

MapReduce是通用的分布式计算框架，但不管是Mapper任务还是Reducer任务，它

们的执行结果都需要写入硬盘。这样一来，由多个