《大数据离线分析技术》课件——RDD概述.pptxVIP

;什么是RDD;什么是RDD;

RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。;RDD中的弹性是指：

存储的弹性：内存与磁盘的自动切换。

容错的弹性：数据丢失可以自动恢复。

计算的弹性：计算出错重试机制。

分片的弹性：可根据需要重新分片。;RDD中的不可变是指创建一个RDD如果更改，并不是真正意义上的更改，只是又创建了一个新的RDD。

RDD中可分区是指能进行分区。

RDD中并行计算是指，因为RDD的分区特性，所以支持并行处理的特性。即不同节点上的数据可以分别被处理，然后生成一个新的RDD。;RDD的结构如图所示：;RDD的属性;RDD的属性如下：

一组分区（Partition），即数据集的基本组成单位;

一个计算每个分区的函数;

RDD之间的依赖关系;

一个Partitioner，即RDD的分片函数;

一个列表，存储存取每个Partition的优先位置（preferredlocation）。;1.什么是RDD

2.RDD的属性