PySpark大数据技术与应用 课件 3.1 Spark SQL概述.pptx

SparkSQL概述目录SparkSQL起源与发展历程1SparkSQL主要功能2SparkSQL数据核心抽象DataFrame3SparkSQL概述SparkSQL是Spark用于处理结构化数据的一个组件，其编程抽象为DataFrame。作为分布式SQL查询引擎，SparkSQL允许用户通过SQL、DataFrameAPI和DataSetAPI这3种方式处理结构化数据。SparkSQL将关系处理与Spark函数编程相结合，并支持读取多种数据源的数据，如CSV、JSON、JDBC、Hive等。SparkSQL的起源与发展SparkSQL的起源与发展紧密相连于大数据处理技术的进步和需求，其前身是Shark，后来为了支持更广泛的数据源和优化性能，发展为全新的SparkSQL项目。SparkSQL的起源可以追溯到Hive。Hive作为Hadoop生态系统中的组件，主要服务于熟悉SQL但不熟悉MapReduce编程模型的用户，它允许数据分析师使用SQL语句来操作HDFS上的数据。然而，Hive在执行过程中存在大量的中间磁盘落地过程，导致效率低下。为了提高SQL-on-Hadoop的效率，Shark作为响应此需求的解决方案之一被提出。Shark修改了Hive架构中的内存管理、物理计划、执行模块，并运行在Spark引擎上，使得SQL查询速度得到显著提升。Spark