厦大林子雨编著-大数据技术原理与应用-电子书-第16章-Spark（2016年4月20日版本）.pdf

厦门大学林子雨编著

《大数据技术原理与应用》

第16章Spark

（版本号：2016年4月20日版本）

（备注：2015年8月1日第一版教材中没有本章，本章为2016年新增内容，将被放入第二版教材中）

（版权声明：版权所有，请勿用于商业用途）

主讲教师：林子雨

厦门大学数据库实验室

二零一六年四月

目录

目录

16.1概述1

16.1.1Spark简介1

16.1.2Scala简介2

16.1.3Spark与Hadoop的对比3

16.2Spark生态系统5

16.3Spark运行架构6

16.3.1基本概念6

16.3.2架构设计7

16.3.3Spark运行基本流程8

16.3.4RDD的设计与运行原理9

16.4SparkSQL14

16.4.1从Shark说起14

16.4.2SparkSQL设计14

16.5SparkStreaming15

16.5.1SparkStreaming设计15

16.5.2SparkStreaming与Storm的对比16

16.6Spark的部署和应用方式17

16.6.1Spark三种部署方式17

16.6.2从Hadoop+Storm架构转向Spark架构18

16.6.3Hadoop和Spark的统一部署19

16.7Spark编程实践20

16.7.1Spark安装20

16.7.2启动SparkShell21

16.7.3SparkRDD基本操作22

16.7.4SparkSQL、DataFrame基本操作24

16.7.5Spark应用程序25

本章小结27

习题27

附录1:任课教师介绍29

附录2：课程教材介绍29

附录3：中国高校大数据课程公共服务平台介绍30

厦门大学林子雨编著《大数据技术原理与应用》第16章Spark

第16章Spark

Spark最初诞生于伯克利大学的APM实验室，是一个可应用于大规模数据处理的快速、

通用引擎，如今是Apache软件基金会下的顶级开源项目之一。Spark正如其名，是如闪电

般快速的集群计算平台（Spark官网的标题为：ApacheSpark-Lightning-fastcluster

computing）。Spark最初的设计目标是使数据分析更快——不仅运行速度快，也要能快速、

容易地编写程序。为了使程序运行更快，Spark提供了内存计算，减少了迭代计算时的IO

开销；而为了使编写程序更为容易，Spark使用简练、优雅的Scala语言编写，基于Scala

提供了交互式的编程体验。虽然，Hadoop已成为大数据的事实标准，但其MapReduce分布

式计算模型仍存在诸多缺陷，而Spark不仅具备HadoopMapReduce所具有的优点，且解决

了HadoopMapReduce的缺陷。Spark正以其结构一体化、功能多元化的优势逐渐成为当今

大数据领域最热门的大数据计算平台。

本章首先简单介绍Spark与Scala编程语言，接着分析Spark与Hadoop的区别，认识

HadoopMapReduce计算模型的缺陷与Spark的优势；然后讲解了Spark的生态系统和架构

设计，并介绍了SparkSQL和SparkStre