二零二三年 优质公开课SparkSQL概述.pptx

Spark SQL概述 目 录CONTENTS2为什么要学习Spark SQL1Spark SQL的前世今生 Spark SQL的前世今生PART 0101 Spark SQL的前世今生 Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shark建立在Hive的代码基础上，并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护，同时Shark依赖于Spark的版本。随着我们遇到了性能优化的上限，以及集成SQL的一些复杂的分析功能，我们发现Hive的MapReduce设计的框架限制了Shark的发展。在2014年7月1日的Spark?Summit上，Databricks宣布终止对Shark的开发，将重点放到Spark?SQL上。 什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。相比于Spark RDD API，Spark SQL包含了对结构化数据和在其上运算的更多信息，Spark SQL使用这些信息进行了额外的优化，使对结构化数据的操作更加高效和方便。有多种方式去使用Spark SQL，包括SQL、DataFrames API和Datasets API。但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎，因此你可以在不同的API之间随意切换，它们各有各的特点，看你喜欢那种风格。 为什么要学习Spark SQLPART 0202 为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群中去执行，大大简化了编写MapReduce程序的复杂性，由于MapReduce这种计算模型执行效率比较慢，所以Spark SQL应运而生，它是将Spark SQL转换成RDD，然后提交到集群中去运行，执行效率非常快。 1.易整合将sql查询与spark程序无缝混合，可以使用java、scala、python、R等语言的API操作。为什么要学习Spark SQL 2.统一的数据访问以相同的方式连接到任何数据源。为什么要学习Spark SQL 3.兼容Hive支持hiveSQL的语法。为什么要学习Spark SQL 为什么要学习Spark SQL4.标准的数据连接??可以使用行业标准的JDBC或ODBC连接。 1、介绍了Spark SQL的前世今生2、介绍了为什么要学习Spark SQL 谢谢观看