55RDD持久化机制cachepersistcheckpoint78课件讲解.pptxVIP

5.5RDD持久化机制cache、persist、checkpoint

为什么要持久化？重复计算的代价Spark转换操作是惰性的，若RDD被多个行动操作复用，默认会多次重新计算血统，导致严重的I/O和计算资源浪费。持久化解决方案将中间RDD的计算结果缓存到内存或磁盘，打破血统依赖，避免重复计算，显著提升复用效率。“持久化是Spark性能调优中最基础也是最有效的手段之一，合理使用可避免大量无效的重复劳动。”

cache：将RDD缓存在内存中核心要点：语法：rdd.cache()(等价于persist(MEMORY_ONLY))作用：将RDD持久化到内存，重复使用时无需重新计算。特点：内存不足时部分分区不缓存，需重新计算。工作机制详解?存储形式：以Java对象形式存储在Executor内存中，读取速度极快。?惰性机制：仅添加缓存标记，真正的缓存发生在第一次行动操作(Action)之后。?适用场景：适合需要多次迭代计算且数据量能容纳在内存中的RDD。RDD持久化策略-内存优先注意：虽然cache非常高效，但它不支持磁盘存储。如果数据量过大或内存不稳定，建议使用更灵活的persist方法并指定磁盘存储级别（如MEMORY_AND_DISK）以防止数据丢失。

persist：指定存储级别StorageLayerVisualization核心语法与存储级别语法：rdd.pe