Spark编程模型（上）.pdfVIP

Spark 编程模型 （上） --概念及Shell 试验 第 1 页 共 24 页 出自石山园，博客地址：/shishanyuan 目 录 1 SPARK编程模型3 1.1 术语定义3 1.2 模型组成3 1.2.1 Driver部分3 1.2.2 Executor部分4 2 RDD 5 2.1 术语定义5 2.2 RDD概念6 2.2.1 RDD 的特点6 2.2.2 RDD基础数据类型6 2.2.3 例子：控制台日志挖掘8 2.3 转换与操作8 2.3.1 转换9 2.3.2 操作10 2.4 依赖类型10 2.5 RDD缓存 11 3 RDD动手实验13 3.1 启动SPARK SHELL 13 3.1.1 启动Hadoop 13 3.1.2 启动Spark 13 3.1.3 启动Spark Shell 14 3.2 转换与操作15 3.2.1 并行化集合例子演示15 3.2.2 Shuffle操作例子演示17 3.2.3 文件例子读取19 3.2.4 搜狗日志查询例子演示21 3.2.5 缓存例子演示错误！未定义书签。 第 2 页 共 24 页 出自石山园，博客地址：/shishanyuan Spark 编程模型 （上） 1 Spark 编程模型 1.1 术语定义  应用程序（Application ）：基于Spark 的用户程序，包含了一个Driver Program 和集群 中多个的Executor ；  驱动程序（Driver Program ）：运行Application 的main()函数并且创建SparkContext ， 通常用SparkContext 代表 Driver Program ；  执行单元 （Executor ）：是为某Application 运行在Worker Node 上的一个进程，该进 程负责运行 Task ，并且负责将数据存在内存或者磁盘上，每个 Application 都有各自独立 的Executors ；  集群管理程序 （Cluster Manager ）：在集群上获取资源的外部服务(例如：Standalone、 Mesos 或Yarn) ；  操作（Operation ）：作用于 RDD 的各种操作分为Transformation 和Action ； 1.2 模型组成 Spark 应用程序可分两部分：Driver 部分和Executor 部分 1.2.1 Driver 部分 Driver 部分主要是对SparkContext 进行配置、初始化以及关闭。初始化SparkContext 是 为了构建 Spark 应用程序的运行环境，在初始化 SparkContext ，要先导入一些Spark 的类和 第 3 页 共 24 页 出自石山园，博客地址：/shishanyuan 隐式转换；在Executor 部分运行完毕后，需要将SparkContext 关闭。 1.2.2 Executor 部分 Spark 应用程序的 Executor 部分是对数据的处理，数据分三种： 原生数据 包含原生的输入数据和输出数据  对于输入原生数据，Spark 目前提供了两种：  Scala 集合数据集 ：如Array(1,2,3,4,5) ，Spark 使用parallelize 方法转换成 RDD  Hadoop 数据集 ：Spark 支持存储在 hadoop 上的文件和 hadoop 支持的其他文件系 统，如本地文件、HBase、SequenceFile 和Hado