spark入门.pptx

robbyzhou Spark入门 What’s Spark Apache基金会顶级项目 基于map reduce算法实现的分布式计算框架 中间数据放到内存中，迭代运算效率更高 Spark的发展 2009年诞生于伯克利大学AMPLab 2010年正式开源 2013年成为Apache基金项目 2014年成为Apache基金的顶级项目 Spark的发展 Spark的发展 Spark vs Hadoop vs Storm Spark Hadoop Storm 处理模型 Batch + Stream Batch Stream 实时性 较快 慢 快 容错性 好 一般 较好 实现语言 Scala Java Java + Clojure 存储介质 内存 + 磁盘 磁盘 内存 生态环境 较好 好 较差 适用场景 机器学习 离线数据分析 实时消息流 术语介绍 Master Worker Executor Driver Job Stage Task Partition RDD Resilient Distributed Datasets 分布在集群节点上的数据集，这些集合可以用来进行各种操作 特点 内存数据集 不可变 可重建 数据分区 可持久化 RDD的生成 从Hadoop文件系统（或与Hadoop兼容的其他持久化存储系统，如Hive、Cassandra、Hbase）输入（如HDFS）创建系统 从父RDD转换得到新RDD RDD的操作 Transformations map filter groupby join Actions count collect save SchemaRDD RDD SchemaRDD 利用反射推断模式（静态） 编程指定模式（动态） RDD的持久化 persist cache Storage Level Meaning MEMORY_ONLY 将RDD作为非序列化的Java对象存储在jvm中。系统默认的存储级别 MEMORY_AND_DISK 如果RDD不适合存在内存中，将这些不适合存在内存中的分区存储在磁盘中 MEMORY_ONLY_SER 将RDD作为序列化的Java对象存储（每个分区一个byte数组） MEMORY_AND_DISK_SER 和MEMORY_ONLY_SER类似，但不是在每次需要时重复计算这些不适合存储到内存中的分区，而是将这些分区存储到磁盘中 DISK_ONLY 仅仅将RDD分区存储到磁盘中 MEMORY_ONLY_2, MEMORY_AND_DISK_2, etc. 和上面的存储级别类似，但是复制每个分区到集群的两个节点上面 Spark的工作原理 RDD的依赖关系 Stage的划分 Spark运行模式 Local Standalone Mesos Yarn Spark的作业提交过程 Spark的作业提交过程 Spark主要支持的开发语言 Scala Java Python Pyspark Spark对于Python的API Pyspark API Documents /docs/latest/api/python/pyspark.html#subpackages Some Examples Thank you! The End