第3章 Spark RDD弹性分布式数据集.pptx

第3章SparkRDD弹性分布式数据集;学习目标/Target;学习目标/Target;章节概述/Summary;目录/Contents;目录/Contents;RDD简介;3.1RDD简介;3.1RDD简介;RDD的创建;3.2RDD的创建;3.2.1基于文件创建RDD;Spark提供了textFile()方法，用于从文件系统中的文件读取数据并创建RDD，包括本地文件系统、HDFS、AmazonS3等，其语法格式如下。;;;3.2.2基于数据集合创建RDD;Spark提供了parallelize()方法，用于从数据集合（数组、List集合等）读取数据并创建RDD，其语法格式如下。;接下来，演示从数据集合读取数据并创建RDD，在SparkShell中执行如下代码。;RDD的处理过程;3.3RDD的处理过程;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;接下来，以IntelliJIDEA为例，演示如何使用filter算子，具体操作步骤如下。;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.1 转换算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;3.3.2 行动算子;RDD的分区;3.4RDD的分区;3.4RDD的分区;3.4RDD的分区;RDD的依赖关系;3.5RDD的依赖关系;3.5RDD的依赖关系;3.5RDD的依赖关系;3.5RDD的依赖关系;RDD机制;3.6RDD机制;3.6.1持久化机制;持久化机制，也称为缓存机制，用于将RDD缓存在内存或磁盘上，以备后续重用。在Spark中，由于RDD采用惰性求值的方式，意味着RDD的转换操作不会立即执行计算。只有在遇到行动操作时，Spark才会根据RDD之间的依赖关系，触发转换操作执行计算。在存在多个行动算子的情况下，每个行动算子都可能导致转换操作的重复计算。为了避免这种资源开销，可通过持久化机制将重复使用的RDD缓存到内存或磁盘中，从而避免重复计算，提高计算效率。;3.6.1持久化机制;3.6.1持久化机制;3.6.1持久化机制;3.6.1持久化机制;3.6.2容错机制;3.6.2容错机制;3.6.2容错机制;Spark的任务调度;3.7.1DAG的概念;3.7.1DAG的概念;3.7.1DAG的概念;3.7.2RDD在Spark中的运行流程;3.7.2RDD在Spark中的运行流程;3.7.2RDD在Spark中的运行流程;本章小结