25RDD设计原理依赖关系血统与容错机制27课件讲解.pptxVIP

2.5RDD设计原理依赖关系、血统与容错机制

RDD——弹性分布式数据集核心定义不可变、可分区、可并行计算的数据集合，分布在集群多个节点上。关键特性弹性（自动容错）、分布式（分片存储）、数据集（支持丰富操作）。计算模型通过转换（Transformation）构建，通过动作（Action）触发计算。深度解析分布式内存抽象：RDD是Spark对分布式内存计算的核心抽象，它将数据表示为分布在多台机器上的对象集合，打破了单机内存限制。不可变性与容错：RDD的不可变性（Immutable）使其天然适合并行处理。当节点发生故障时，RDD能够通过血统（Lineage）机制重新计算丢失的分区，实现高效容错。惰性求值：所有转换操作都是惰性的，只有遇到动作操作时才会真正触发集群上的计算，从而优化执行计划。

RDD的核心属性核心属性构成分区列表：数据切分的基本单位，决定并行度计算函数：定义每个分区如何转换计算依赖关系：记录与父RDD的血缘，用于容错恢复分区器/位置：优化数据分布策略与本地性计算属性作用详解这五大属性是RDD的“身份证”。依赖关系支撑容错机制和Stage划分；分区器影响Shuffle过程中的数据分布效率；首选位置则通过数据本地性原则大幅减少网络IO开销。图示：RDD五大核心属性的逻辑结构“理解RDD的五大属性，是掌握Spark运行机制的关键。”

依赖关系：窄依赖vs宽依