spark研讨.pptxVIP

Spark 目录 安装配置与简介 为什么需要Spark Hadoop(MapReduce)极大的简化了大数据分析 但是，随着大数据需求和使用模式的扩大，用户的需求也越来越多： 更复杂的多重处理需求（比如迭代计算, ML, Graph） 低延迟的交互式查询需求（比如ad-hoc query） MapReduce计算模型的架构导致上述两类应用先天缓慢，用户迫切需要一种更快的计算模型，来补充MapReduce的先天不足。 内存计算, 最大限度的使用内存! 安装配置与简介 什么是Spark 不是 一款修改过的Hadoop！ 是 一款独立的，高速的，开源的分布式计算引擎： 内存计算模式 Resilient Distributed Datasets（RDD） 比Hadoop快40倍以上 目录 安装配置与简介 Spark数据共享机制 太慢，冗余读写、磁盘IO Data Sharing in Hadoop(MapReduce) 安装配置与简介 Spark数据共享机制 10-100x快于磁盘 Data Sharing in Spark 安装配置与简介 Spark弹性分布式数据集 弹性分布式数据集（Resilient Distributed Datasets, RDD） Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现 只读的，已分区，可并行操作的分布式数据集 只能直接通过操作符来创建和处理 支持容错处理 RDD Operations 安装配置与简介 Spark弹性分布式数据集 lines = spark.textFile(“hdfs://...”) errors = lines.filter(_.startsWith(“ERROR”)) errors.cache() errors.count() errors.filter(_.contains(“HDFS”)).count() errors.filter(_.contains(“HDFS”)).map(_.split(‘\t’)(3)).collect() Block 1 Block 2 Block 3 . . . tasks results Cache 1 Cache 2 Cache 3 Base RDD Transformed RDD Action Result: full-text search of Wikipedia in 1 sec (vs 20 sec for on-disk data) Result: scaled to 1 TB data in 5-7 sec(vs 170 sec for on-disk data) 例子：假定有一个大型网站出错，操作员想要检查Hadoop文件系统（HDFS）中的日志文件（TB级大小）来找出原因。通过使用Spark，操作员只需将日志中的错误信息装载到一组节点的RAM中，然后执行交互式查询。 安装配置与简介 Spark容错机制 血统关系(Lineage)：记录RDD是如何从其它RDD中演变过来的一系列操作 一般来说，分布式数据集容错采用两种方式：checkpoint备份或者LOG机制 Spark中，当这个RDD的部分分区数据丢失时，它可以通过Lineage获取足够的信息来重新运算和恢复丢失的数据分区 安装配置与简介 Spark容错机制 在 RDD lines上执行filter操作，得到errors，然后再filter、map后得到新的RDD，在这个RDD上执行collect行为，如果某个errors RDD分区丢失，Spark只在相应的lines分区上执行filter操作来重建该errors分区 安装配置与简介 RDD工作原理 RDD 是如何运行的呢？总高层次来看，主要分为三步：创建 RDD 对象， DAG 调度器创建执行计划， Task 调度器分配任务并调度 Worker 开始运行。 安装配置与简介 RDD工作原理 以下面一个按 A-Z 首字母分类，查找相同首字母下不同姓名总个数的例子来看一下 RDD 是如何运行起来的。 详细运行步骤如下： 步骤 1 ：创建 RDD 。 上面的例子除去最后一个 collect 是个动作，不会创建 RDD 之外，前面四个转换都会创建出新的 RDD 。因此第一步就是创建好所有 RDD( 内部的五项信息 ) 。 安装配置与简介 RDD工作原理 步骤 2 ：创建执行计划。 Spark 会尽可能地管道化，并基于是否要重新组织数据来划分 阶段 (stage) ，例如本例中的