51RDD概述与创建方式Spark核心抽象入门96课件讲解.pptxVIP

5.1RDD概述与创建方式Spark核心抽象入门

什么是RDD？核心定义ResilientDistributedDataset，弹性分布式数据集，是Spark最核心的数据抽象。三大特征具备不可变、分区存储和弹性容错三大核心特性。核心价值统一编程模型，让开发者像操作本地集合一样轻松处理分布式大数据。RDD工作原理可视化分布式数组：可以将RDD理解为一个巨大的分布式“数组”，数据被自动打散存储在集群的不同节点上。自动并行化：开发者只需编写对RDD的转换和动作操作，Spark引擎会自动将任务拆解并分发到集群并行执行。计算起点：在Spark生态中，所有的结构化流处理、SQL查询最终都会转化为底层的RDD操作。

如何获得RDD？从已有集合创建(parallelize)通过SparkContext的parallelize方法将Scala集合转换为RDD。主要用于本地测试、学习验证逻辑，不适合处理大规模数据。从外部数据源创建(textFile等)生产环境的主要方式。Spark支持读取多种外部数据源，包括文本文件、JSON、CSV、Parquet、JDBC数据库等，通过sc.textFile等方法加载。核心总结：测试用集合，生产用外部数据

parallelize：将本地集合转为RDD核心要点valrdd=sc.parallelize(Se