第8章 Structured Streaming流式计算引擎-教学设计.docVIP

博学谷——让IT教学更简单，让IT学习更有效

PAGE12

PAGE2

《Spark大数据分析与实战（第2版）》

教学设计

课程名称：

授课年级：

授课学期：

教师姓名：

年月

课题名称

第8章StructuredStreaming流计算引擎

计划课时

6课时

教学引入

创新是引领科技变革的重要因素,通过不断探索和创新,可以推动技术的进步和应用,为经济发展注入新的动力。在当前的数据处理领域,实时处理大量数据流的需求在不断增长,数据的复杂性随之不断扩大。然而,对数据流的传统处理方式却无法有效解决实时处理过程中出现的问题,如时效性低、灵活性不高等。为了解决这些问题,Spark推出了StructuredStreaming,这是一种基于SparkSQL构建的可扩展且容错的流处理引擎,它提供了与SparkSQL类似的API,既支持对数据流处理,也支持对数据批处理。本章从SparkStreaming的不足开始说起,逐步针对StructuredStreaming的基本概念及其相关操作进行详细介绍。

教学目标

使学生了解SparkStreaming的不足，能够说出SparkStreaming在处理复杂的流式数据时的弊端

使学生了解StructuredStreaming，能够叙述StructuredStreaming处理数据的特点

使学生熟悉StructuredStreaming编程模型，能够描述StructuredStreaming如何处理实时数据

使学生掌握StructuredStreaming的API操作，能够通过ScalaAPI的方式实现输入操作、转换操作和输出操作

使学生了解时间的分类，能够说出处理流数据中事件时间、注入时间和处理时间的区别

使学生掌握窗口操作，能够使用StructuredStreaming完成滚动窗口、滑动窗口和会话窗口操作

使学生掌握物联网设备数据分析，能够模拟生成数据并分析

教学重点

输入操作

转换操作

输出操作

窗口操作

案例——物联网设备数据分析-分析数据

教学难点

窗口操作

案例——物联网设备数据分析-准备数据

案例——物联网设备数据分析-分析数据

教学方式

课堂教学以PPT讲授为主，并结合实际操作进行教学

教

学

过

程

第一、二课时

（SparkStreaming的不足、StructuredStreaming简介、StructuredStreaming编程模型、输入操作、转换操作、输出操作）

一、复习巩固

教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。

二、通过直接导入的方式导入新课

虽然SparkStreaming可以实时处理数据，但面对复杂的流式数据处理场景时就会存在一些问题，而StructuredStreaming面对复杂的流式数据处理场景时更占优势。本节课针对StructuredStreaming的基础知识和基本操作进行讲解。

三、新课讲解

知识点1-SparkStreaming的不足

教师通过PPT的方式讲解SparkStreaming的不足。

不支持事件时间

流批处理不统一

复杂的底层API

end-to-end的一致性语义需要手动实现

知识点2-StructuredStreaming简介

教师通过PPT的方式讲解StructuredStreaming简介。

介绍StructuredStreaming的概念

介绍StructuredStreaming的特点

统一的编程范式

卓越的性能

多语言支持

知识点3-StructuredStreaming编程模型

教师通过PPT的方式讲解StructuredStreaming编程模型。

介绍StructuredStreaming的编程模型

以实时单词计数为例，介绍StructuredStreaming编程模型的使用

知识点4-输入操作

教师通过PPT结合实际操作的方式讲解输入操作。

文件数据源

介绍readStream算子从指定文件格式的文件中实时接收输入的数据流并创建DataFrame的语法格式

介绍writeStream算子将创建的DataFrame输出的语法格式

演示在StructuredStreaming程序中从HDFS实时接收文件格式为Text的数据流并生成DataFrame

Socket数据源

介绍readStream算子从TCPSocket数据源中实时接收输入的数据流并创建DataFrame的语法格式

演示在StructuredStreaming程序中从TCPSocke