03_尚硅谷大数据技术之SparkSQL（V5.0）.docxVIP

尚硅谷大数据技术之SparkSQL ————————————————————————————— 更多Java –大数据 –前端 –python人工智能资料下载，可百度访问：尚硅谷官网 尚硅谷大数据技术之SparkSQL （作者：尚硅谷研究院） 版本：V5.0 第1章 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。与Spark SQL交互的方式有多种，包括SQL和Dataset API。计算结果时，使用相同的执行引擎，与您用于表达计算的API/语言无关。 1.2 为什么要有Spark SQL 1.3 SparkSQL的发展 1）发展历史 RDD（Spark1.0）=》Dataframe（Spark1.3）=》Dataset（Spark1.6） 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同的是他们的执行效率和执行方式。在现在的版本中，dataSet性能最好，已经成为了唯一使用的接口。其中Dataframe已经在底层被看做是特殊泛型的Data