第4章 Spark SQL结构化数据处理模块-教学设计.doc

博学谷——让IT教学更简单，让IT学习更有效

PAGE12

PAGE2

《Spark大数据分析与实战（第2版）》

教学设计

课程名称：

授课年级：

授课学期：

教师姓名：

年月

课题名称

第4章SparkSQL结构化数据处理模块

计划课时

6课时

教学引入

对于不熟悉Scala语言或SparkAPI的用户，SparkSQL提供了一种基于SQL语句处理结构化数据的能力。该模块通过熟悉的SQL语法降低了分布式计算的学习门槛，使开发者无需深入掌握编程接口即可利用Spark框架的分布式计算能力。本章将针对SparkSQL的基本原理和使用方式进行详细讲解。

教学目标

使学生了解SparkSQL，能够说出SparkSQL的特点

使学生熟悉SparkSQL架构，能够说明Catalyst内部组件的运行流程

使学生熟悉DataFrame的基本概念，能够说明DataFrame与RDD在结构上的区别

使学生掌握DataFrame的创建，能够通过读取数据文件创建DataFrame

使学生掌握DataFrame的常用操作，能够使用DSL风格和SQL风格操作DataFrame

使学生掌握DataFrame的函数操作，能够使用标量函数和聚合函数操作DataFrame

使学生掌握RDD与DataFrame的转换，能够通过反射机制和编程方式将RDD转换成DataFrame

使学生了解Dataset，能够说出RDD、DataFrame与Dataset的区别

使学生掌握Dataset的创建，能够通过读取数据文件创建Dataset

使学生掌握SparkSQL操作数据源，能够使用SparkSQL操作MySQL和Hive

教学重点

DataFrame的创建

DataFrame的常用操作

DataFrame的函数操作

反射机制推断Schema

编程方式定义Schema

Dataset的创建

SparkSQL操作MySQL

SparkSQL操作Hive

教学难点

SparkSQL架构

DataFrame的函数操作

反射机制推断Schema

编程方式定义Schema

教学方式

课堂教学以PPT讲授为主，并结合实际操作进行教学

教

学

过

程

第一、二课时

（SparkSQL的简介、SparkSQL架构、DataFrame简介、DataFrame的创建、DataFrame的常用操作、DataFrame的函数操作）

一、复习巩固

教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。

二、通过直接导入的方式导入新课

SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作DataFrame的编程抽象结构数据模型，即带有元数据信息的RDD。SparkSQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrameAPI和DatasetAPI3种方式实现对结构化数据的处理。在本节课中，我们针对SparkSQL和DataFrame的基础知识，以及DataFrame基础操作进行讲解。

三、新课讲解

知识点1-SparkSQL的简介

教师通过PPT的方式讲解SparkSQL的简介。

介绍SparkSQL的特点

支持多种数据源

支持标准连接

支持无缝集成

知识点2-SparkSQL架构

教师通过PPT的方式讲解SparkSQL架构。

介绍SparkSQL底层架构

介绍Catalyst中各组件的运行流程

知识点3-DataFrame简介

教师通过PPT的方式讲解DataFrame简介。

介绍DataFrame的概念，以及它与RDD在结构上的区别

知识点4-DataFrame的创建

教师通过PPT结合实际操作的方式讲解DataFrame的创建。

介绍创建SparkSession对象的两种方式

演示基于YARN集群的运行模式启动SparkShell查看默认创建的SparkSession

介绍常见读取数据创建DataFrame的方法

演示通过读取JSON文件创建DataFrame

知识点5-DataFrame的常用操作

教师通过PPT结合实际操作的方式讲解DataFrame的常用操作。

DSL风格

SQL风格

知识点6-DataFrame的函数操作

教师通过PPT结合实际操作的方式讲解DataFrame的函数操作。

标量函数操作

内置标量函数

自定义标量函数

聚合函数操作

内置聚合函数

自定义聚合函数

四、归纳总结

教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导。

五、布置作业

教师通过高校教辅平台