Spark大数据技术与应用（第2版）（微课版）-教案全套 第1--9章 Spark概述---项目案例：广告流量作弊识别.docxVIP

第1章Spark概述

教案

课程名称：Spark大数据技术与应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论40学时，实验24学时）

总学分：4.0学分

本章学时：4学时

一、材料清单

（1）《Spark大数据技术与应用》教材。

（2）配套PPT。

（3）引导性提问。

（4）探究性问题。

（5）拓展性问题。

二、教学目标与基本要求

1.教学目标

主要介绍Spark的发展历史，Spark的特点、Spark的生态圈和Spark的应用场景以及介绍Spark的环境配置，包括搭建单机版环境、单机伪分布式环境和完全分布式环境。最后重

点介绍Spark的架构，Spark作业的运行流程和Spark的核心数据集RDD。

2.基本要求

（1）了解Spark的发展历史及特点。

（2）学会搭建Spark环境。

（1）了解Spark的运行架构与原理。

三、问题

1.引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问

题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

（1）你了解Spark的发展历史及特点吗？

（2）你了解Spark的应用场景吗？

（3）你自己搭建过Spark环境吗？

（4）你使用过Spark吗？

2、探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课

文中又是重要的问题加以设问。

（1）为什么需要Spark？

（2）Spark有哪些特点？

（3）Spark生态圈包含哪些环境？

（4）Spark有哪些部署模式，有什么区别？

（5）“RDD”是怎样的数据集？

（6）Spark的运行流程是怎么样的？

2.拓展性问题

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问

题。

根据Spark的安装配置过程，如果想要为Spark集群多加一个子节点，需要进行哪些操

作？

四、主要知识点、重点与难点

1.主要知识点

（1）Spark基本概念。

（2）Spark发展和应用。

（3）Spark环境配置方法。

（4）Spark架构及原理。

2.重点

（1）如何搭建Spark环境。

（2）Spark完全分布式集群特点。

（3）了解Spark运行架构与原理。

3.难点

（1）搭建Spark完全分布式集群。

（2）Spark的原理。

五、教学过程设计

1.理论教学过程

（1）Spark简介。

（2）搭建Spark环境。

（3）了解Spark运行架构与原理。

2.实验教学过程

搭建Spark伪分布式与完全分布式集群。

六、教材与参考资料

1.教材

肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出

版社．2022.

2.参考资料

[1]肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018.

[2]王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022.

[3]张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮

电出版社．2021.

第2章Spark基础

教案

课程名称：Spark大数据技术与应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论40学时，实验24学时）

总学分：4.0学分

本章学时：8学时

七、材料清单

（6）《Spark大数据技术与应用》教材。

（7）配套PPT。

（8）引导性提问。

（9）探究性问题。

（10）拓展性问题。

八、教学目标与基本要求

3.教学目标

Scala语言是Spark平台常用的一种语言，为了学习Spark，需要先学习Scala。首先介绍了Scala的特性及安装，接着介绍的是Scala的函数、表达式、循环、数据结构和类。通

过本章的学习，可以体会到Scala函数式编程的便捷、简单。

4.基本要求

（1）了解Scala基本特性并学会安装Scala。

（2）掌握定义Scala的常量、变量及函数的方法