二零二三年 优质公开课SparkSQL作用.pptx

Spark SQL作用 Spark SQL简介0102Spark SQL愿景Content目录 01Spark SQL简介 Spark SQL的作用 Spark SQL的一大用处就是执行SQL查询语句，Spark SQL也可以用来从Hive中读取数据，当我们使用其它编程语言来运行一个SQL语句，结果返回的是一个Dataset或者DataFrame. 可以使用命令行，JDBC或者ODBC的方式来与SQL进行交互。 Spark SQL的特点易整合统一的数据访问方式兼容Hive标准的数据连接 02Spark SQL愿景 Spark SQL愿景1） DataFrame和DataSet引入 Spark SQL引入了DataFrame和DataSet，所以可以更方便的使用df或者ds进行编程，可以更加方便而且还可以通过sql的方式。2）外部数据源的引入： 既然引入了外部数据源，那我们读取各种类型的数据就变得尤为方便例如：Json、parquet、RDBMS等。?（一）写更少的代码 Spark SQL愿景 注：这个更少的数据是指通过一些优化手段使得Spark SQL这个执行引擎能自动的给我们去除掉一些不必要的数据，然后再进行运行，比如读一个很大的文件，和读一个很大文件的子集的数据，那么第二个运行起来肯定是更快的。（二）读更少的数据 Spark SQL愿景 注：把优化工作拿掉，并不需要做一些优化工作，也就是小白和高手写出来的应用程序最后的执行效率都是一样的。 为了达成这三点，在sparkSQL1.3版本里面，引入了一个非常重要的概念：dataframe，当然dataframe不是sparkSQL里面独有的，他是从R语言和python语言里面给引进过来的，延续了传统的单机数据开发的一个体验，并把它推广到分布式的大数据场景当中来使用，让我们觉得是在写单机应用程序，但是写出来的程序能够在分布式的场景进行使用的。（三）把优化的工作交由底层的优化器运行 1、介绍了kms技术2、介绍了Spark SQL愿景