第6章 Spark SQL结构化数据处理引擎.pptxVIP

主讲人:xxx《Spark》大数据处理技术

SparkSQL结构化数据处理引擎第6章

第6章SparkSQL结构化数据处理引擎6.1SparkSQL的基础知识6.2DataFrame6.3Dataset6.4SparkSQL操作数据源本章小结

6.1SparkSQL的基础知识

6.1SparkSQL的基础知识SparkSQL是一个运行在Spark之上的Spark库。它为Spark提供了SQL接口，还让Spark更加易用，提升了开发者的生产力，让Spark应用运行得更快。1.SparkSQL的架构、特点和程序主入口等，2.SparkSQL的两个抽象编程模型DataFrame和DataSet。3.DataFrame和DataSet的创建方法和常用操作。4.介绍了使用SparkSQL操作MySQL数据源的方法。

6.1SparkSQL的基础知识SparkSQL是一个用来处理结构化数据的Spark组件。它可被视为一个分布式的SQL查询引擎。SparkSQL在数据兼容方面的发展，开发人员不仅可以直接处理RDD，也可以处理Parquet文件或者JSON文件，甚至可以处理外部数据库中的数据以及Hive中存在的表。SparkSQL的一个重要特点是其能够统一处理关系表和RDD，使得开发人员可以轻松地使用SQL命令进行外部查询和更复杂的数据分析。6.1.1SparkSQL的简介

SparkSQL的特点：（1）和SparkCore的无缝集成，可以在写RDD应用的时候，配置SparkSQL来完成逻辑实现。（2）统一的数据访问方式，SparkSQL提供标准化的SQL查询。（3）Hive的继承，SparkSQL通过内嵌的Hive或者连接外部已经部署好的Hive案例，实现了对Hive语法的继承和操作。（4）标准化的连接方式。6.1SparkSQL的基础知识

在SparkSQL当中，Spark为提供了两个操作SparkSQL的抽象编程模型，分别是DataFrame和DataSet。（1）DataFrame是一种以RDD为基础的带有Schema元信息的分布式数据集，类似于关系型数据库的数据表。（2）DataSet包含了DataFrame的功能，DataFrame表示为DataSet[Row]，即DataSet的子集。DataFrame其实就是Dataset[Row]，即DataFrame=DataSet[Row]。6.1.2SparkSQL数据抽象6.1SparkSQL的基础知识

从Spark2.0以上版本开始，SparkSQL模块的编程主入口点是SparkSession，SparkSession对象不仅为用户提供了创建DataFrame对象、读取外部数据源并转化为DataFrame对象以及执行sql查询的API，还负责记录着用户希望Spark应用在Spark集群运行的控制、调优参数，是Spark运行的基础。6.1SparkSQL的基础知识6.1.3程序主入口SparkSession

1.使用SparkSession对象读取文件成为DataFrame：（1）先通过SparkSession.builder()创建一个基本的SparkSession对象，（2）为该SaparkSQL应用配置一些初始化参数，例如设置应用的名称以及通过config方法配置相关运行参数。（3）然后使用该SparkSession对象，读取json文件成为DataFrame对象，再使用show()方法查看内容。代码及运行结果如下图所示6.1SparkSQL的基础知识

importorg.apache.spark.sql.SparkSessionvalsp=SparkSession.builder().appName(SparkSQLbasicexample).config(spark.some.config.option,some-value).getOrCreate()valdf=spark.read.json(file:///usr/local/Exam/employees.json)df.show()6.1SparkSQL的基础知识

2.使用默认SparkSession对象Spark读取文件成为DataFrame因为SparkSession对象是Spark运行的基础，是必不可少的。在进入spark-shell之后进行各种数据操作，可以声明创建一个SparkSession对象，也可以直接使用spark-shell提供的默认的SparkSession对象，即“Spark”。如图所示6.1SparkSQL的基础知识

6.2DataFrameSpar