Spark编程基础教学大纲.pdfVIP

Spark编程基础教学大纲

课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、

Spark环境搭建和使用方法、RDD编程、SparkSQL、SparkStreaming和SparkMLlib

等。

课程概述

Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与

编程方法。课程由全国高校知名大数据教师厦门大学林子雨老师主讲，采用林子

雨等编著的《Spark编程基础（Scala版）》作为课程教材。Spark支持采用Scala、

Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程序。

课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark

环境搭建和使用方法、RDD编程、SparkSQL、SparkStreaming和SparkMLlib等。

通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使

用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础。

授课目标

Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与

编程方法。本课程采用Scala语言编写Spark应用程序。课程内容包括大数据技

术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、

RDD编程、SparkSQL、SparkStreaming和SparkMLlib等。通过本课程的学习，

将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实

际科研问题和未来从事大数据相关工作奠定基础。

课程大纲

第1章大数据技术概述

1.1大数据时代

1.2大数据概念

1.3大数据的影响

1.4大数据关键技术

1.5大数据计算模式

1.6代表性大数据技术

第1章大数据技术概述单元测验

第2章Scala语言基础

2.1Scala语言概述

2.2Scala基础知识

2.3面向对象编程基础

2.4函数式编程基础

第2章Scala语言基础单元测验

第3章Spark的设计与运行原理

3.1Spark概述

3.2Spark生态系统

3.3Spark运行架构

3.4Spark的部署和应用方式

第3章Spark的设计与运行原理单元测验

第4章Spark环境搭建和使用方法

4.1安装Spark

4.2在spark-shell中运行代码

4.3开发Spark独立应用程序

4.4Spark集群环境搭建

4.5在集群上运行Spark应用程序

第4章Spark环境搭建和使用方法单元测验

第5章RDD编程

5.1RDD编程基础

5.2键值对RDD

5.3数据读写

5.4综合案例

第5章RDD编程单元测验

第6章SparkSQL

6.1SparkSQL简介

6.2DataFrame

6.3从RDD转换得到DataFrame

6.4使用SparkSQL读写数据库

第6章SparkSQL单元测验

第7章SparkStreaming

7.1流计算概述

7.2SparkStreaming

7.3DStream操作概述

7.4基本输入源

7.5高级数据源

7.6转换操作

7.7输出操作

7.8StructuredStreaming

第7章SparkStreaming单元测验

第8章SparkMLlib

8.1SparkMLlib简介

8.2机器学习流水线

8.3特征抽取、转化和选择

8.4分类与回归

第8章SparkMLlib单元测验

预备知识

本课程属于“进阶级”大数据课程，在学习本课程之前，建议首先学习由林

子雨老师主讲的“入门级”大数据课程《大数据技术原理与应用》（点击这里在

中国大学MOOC平台学习林子雨老师主讲的国家精品在线开放课程《大数据技

术原理与应用》）。《Spark编程基础》和《大数据技术原理与应用》两门课程之间，

在内容上实现了“无缝隙衔接”，可以帮助大数据学习者顺利完成入门学习和进

阶学习。

需要具备的预备知识包括：面向对象编程（比如Java）、数据库、操作系统、大