二零二三年 优质公开课SparkSQL演变过程.pptx

SparkSQL演变过程 1.了解SparkSQL演变过程. 01导语02SparkSQL演变过程 导语01 导语SparkSQL的相关技术主要实现数据统计分析。 SparkSQL演变过程02 演变过程-1SparkSQL是Spark中处理结构化数据的模块，可以支持使用SQL语言对数据进行统计分析。在大数据生态圈中，Hive数据仓库可以支持使用SQL语言对数据进行分析，Spark发展初期，为了在Spark中也能使用SQL语言查询分析数据，Spark结合Hive整合开发出了Shark，SparkSQL的前身就是Shark。 演变过程-2Shark对Hive的依赖太过紧密，制约了Spark的一站式处理数据的初衷，在2014年6月，Spark团队停止对Shark的维护，全力开发SparkSQL。 演变过程-3SparkSQL的出现使SparkSQL不再依赖Hive的解析优化，而是使用Spark自身提供的解析器优化器进行处理，这样大大提高了处理数据的性能。 演变后的好处SparkSQL相对于Shark来说完全脱离了Hive的限制，同时不仅可以读取Hive中的数据，还可以读取Spark原生的数据使用SQL查询，同时还支持SQL查询的结果转换成Spark核心RDD使用。 1.了解SparkSQL演变过程