《Spark大数据技术与应用案例教程》教案 第8课 配置Spark SQL.pdfVIP

课题配置SparkSQL

课时2课时（90min）

知识技能目标：

（1）了解SparkSQL的特点

（2）理解SparkSQL的架构

教学目标

（3）理解SparkSQL的运行原理

素质目标：

培养举一反三的能力，学会融会贯通

教学重点：SparkSQL的特点、架构和运行原理

教学重难点

教学难点：配置SparkSQL

教学方法案例分析法、问答法、讨论法、讲授法

教学用电脑、投影仪、多媒体课件、教材

教学过程主要教学内容及步骤

【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，完成课

前任务

课前任务

请大家了解SparkSQL的相关知识。

【学生】完成课前任务

【教师】使用APP进行签到

考勤

【学生】班干部报请假人员及原因

【教师】提出以下问题：

问题导入

什么是SparkSQL？

（5min）

【学生】思考、举手回答

【教师】通过学生的回答引入新知，介绍SparkSQL的特点、架构和运行原理等知识

一、SparkSQL概述

1．SparkSQL的产生

【教师】介绍SparkSQL的产生

在早期的Hadoop生态系统中，主要使用MapReduce组件进行数据处理。MapReduce虽然能够处理

大规模数据，但是其学习成本比较高。Hive的出现解决了这个问题，它为大规模数据处理提供了更加方

便的结构化查询语言接口，让用户能够像操作关系型数据库一样进行数据分析。Hive能够与Hadoop高

度集成，但是Hive在处理大规模数据时依然存在性能瓶颈，其原因是Hive需要将查询转换为MapReduce

任务来运行，而这种转换可能存在较长的延迟时间。

传授新知

为了解决上述问题，加州大学伯克利分校的AMP实验室开发了基于Hive的结构化数据处理组件

Shark。为了实现Hive的兼容，Shark重用了Hive的HiveQL解析、逻辑执行计划翻译、执行计划优化等

逻辑，但在执行层面将MapReduce作业替换成了Spark作业。由于Shark使用的是Spark基于内存的计

算模型，因此性能得到了极大的提升。

Shark的设计导致了两个问题，一是执行优化完全依赖于Hive，其性能受到约束；二是Spark是线程

级并行，而MapReduce是进程级并行，会导致Spark和Hive兼容存在线程安全问题。因此，在2014年

Shark项目被中止，AMP实验室转向SparkSQL的开发。1

2．SparkSQL的特点

【教师】介绍SparkSQL的特点

SparkSQL主要用于处理结构化数据，它不仅支持SQL查询，还提供了一种基于DataFrame的编程

抽象，可以方便地进行分布式数据处理和分析。SparkSQL具有以下特点。

（1）支持多种数据源。

（2）支持SQL查询。

（3）提供了Da