spark基础知识,spark学习内容.pdfVIP

16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 H spark 基础知识 1.Spark 是什么? UCBerkeley AMPlab 所开源的类 HadoopMapReduce 的通用的并行计算框架。 dfsSpark 基于mapreduce 算法实现的分布式计算，拥有HadoopMapReduce 所 具有的优点;但不同于MapReduce 的是Job 中间输出和结果可以保存在内存中， 从而不再需要读写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等 需要迭代的map reduce 的算法。 2.Spark 与Hadoop 的对比(Spark 的优势) 1、Spark 的中间数据放到内存中，对于迭代运算效率更高 2、Spark 比Hadoop 更通用 3、Spark 提供了统一的编程接口 4 、容错性– 在分布式数据集计算时通过checkpoint 来实现容错 5、可用性– Spark 通过提供丰富的Scala, Java，Python API 及交互式Shell 来 提高可用性 3.Spark 有那些组件 1、Spark Streaming：支持高吞吐量、支持容错的实时流数据处理 2、Spark SQL， Data frames: 结构化数据查询 3、MLLib：Spark 生态系统里用来解决大数据机器学习问题的模块 4 、GraphX 是构建于Spark 上的图计算模型 5、SparkR 是一个R 语言包，它提供了轻量级的方式使得可以在R 语言中使用 Spark 二. DataFrame 相关知识点 1.DataFrame 是什么? DataFrame 是一种以RDD 为基础的分布式数据集，类似于传统数据库中的二维 表格。 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 H 2.DataFrame 与RDD 的主要区别在于? DataFrame 带有schema 元信息，即DataFrame 所表示的二维表数据集的每一 列都带有名称和类型。这使得SparkSQL 得以洞察更多的结构信息，从而对藏于 DataFrame 背后的数据源以及作用于DataFrame 之上的变换进行了针对性的优 化，最终达到大幅提升运行时效率的目标。 反观 RDD，由于无从得知所存数据元素的具体内部结构，Spark Core 只能在 stage 层面进行简单、通用的流水线优化。 3.DataFrame 特性 1、支持从KB 到PB 级的数据量 2、支持多种数据格式和多种存储系统 3、通过Catalyst 优化器进行先进的优化生成代码 4 、通过Spark 无缝集成主流大数据工具与基础设施 5、API 支持Python、Java、Scala 和R 语言 三 .RDD 相关知识点 1.RDD，全称为? Resilient Distributed Datasets，意为容错的、并行的数据结构，可以让用户显式 地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD 还提供了一 组丰富的操作来操作这些数据。 2.RDD 的特点? 它是在集群节点上的不可变的、已分区的集合对象。 通过并行转换的方式来创建如(map, filter, join, etc) 。 失败自动重建。 可以控制存储级别( 内存、磁盘等)来进行重用。 必须是可序列化的。 是静态类型的。 3.RDD 核心概念 Client：客户端进程，负责提交作业到Master。 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据