Spark大数据技术与应用（第2版）（微课版）-教案全套 第1--9章 Spark概述---项目案例：广告流量作弊识别.docx

Spark大数据技术与应用（第2版）（微课版）-教案 第1章 Spark概述 教案 课程名称：Spark大数据技术与应用 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时（其中理论40学时，实验24学时） 总学分：4.0学分 本章学时：4学时 材料清单 《Spark大数据技术与应用》教材。 配套PPT。 引导性提问。 探究性问题。 拓展性问题。 教学目标与基本要求 教学目标 主要介绍Spark的发展历史，Spark的特点、Spark的生态圈和Spark的应用场景以及介绍Spark的环境配置，包括搭建单机版环境、单机伪分布式环境和完全分布式环境。最后重点介绍Spark的架构，Spark作业的运行流程和Spark的核心数据集RDD。 基本要求 了解Spark的发展历史及特点。 学会搭建Spark环境。 了解Spark的运行架构与原理。 问题 引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 你了解Spark的发展历史及特点吗？ 你了解Spark的应用场景吗？ 你自己搭建过Spark环境吗？ 你使用过Spark吗？ 2、探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 为什么需要Spark？ Spark有哪些特点？ Spark生态圈包含哪些环境？ Spark有哪些部署模式，有什么区别？ “RDD”是怎样的数据集？ Spark的运行流程是怎么样的？ 拓展性问题 拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。 根据Spark的安装配置过程，如果想要为Spark集群多加一个子节点，需要进行哪些操作？ 主要知识点、重点与难点 主要知识点 Spark基本概念。 Spark发展和应用。 Spark环境配置方法。 Spark架构及原理。 重点 如何搭建Spark环境。 Spark完全分布式集群特点。 了解Spark运行架构与原理。 难点 搭建Spark完全分布式集群。 Spark的原理。 教学过程设计 理论教学过程 Spark简介。 搭建Spark环境。 了解Spark运行架构与原理。 实验教学过程 搭建Spark伪分布式与完全分布式集群。 教材与参考资料 教材 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022． 参考资料 [1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018． [2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022． [3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021． 第2章 Spark基础 教案 课程名称：Spark大数据技术与应用 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时（其中理论40学时，实验24学时） 总学分：4.0学分 本章学时：8学时 材料清单 《Spark大数据技术与应用》教材。 配套PPT。 引导性提问。 探究性问题。 拓展性问题。 教学目标与基本要求 教学目标 Scala语言是Spark平台常用的一种语言，为了学习Spark，需要先学习Scala。首先介绍了Scala的特性及安装，接着介绍的是Scala的函数、表达式、循环、数据结构和类。通过本章的学习，可以体会到Scala函数式编程的便捷、简单。 基本要求 了解Scala基本特性并学会安装Scala。 掌握定义Scala的常量、变量及函数的方法。 掌握Scala的if判断和for循环。 掌握Scala的Collections（集合）操作。 掌握Scala的样例类与模式匹配。 了解Scala类及读取文件。 问题 引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 Scala是一门函数式编程语言，你了解什么是函数式编程吗？ 结合Spark的特点，你觉得Scala可能具备哪些特性？ 你了解Scala编程的常量，变量及函数吗？ 你了解Scala的循环与判断吗？ 探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 为什么使用Scala编写