Spark SQL逻辑计划原理.pdfVIP

SparkSQL逻辑计划原理

【导读】本文重点讲解了SparkSQL解析为AST抽象语树、生成

UnresolvedLogicalPlan生成ResolvedLogicalPlan以及Optimized

LogicalPlan的过程，为接下来进一步生成物理计划SparkPlan做好了准各。

Catalyst优化器是Spark引擎中非常重要的组成部分，也是近年来Spark社区

项目重点投入、并且发展十分迅速的核心模块，对于Spark任务的性能提升起

到了关键的基础作用。

我们知道，在Spark1.6之前开发人员是通过Spark的RDD编程接口来实现对大

规模数据的分析和处理的，到了Sparkl.6版本后推出了DataSetDataFrame

的编程接口，这种数据结构与RDD的主要区别在于其携带了结构化数据的

Schema信息，从而可以被SparkCatalyst用来做进一步的解析和优化；而

SparkSQL则是比DataSet和DataFrame编程接口更为简单易用的大数据领域

语言，其用户可以是开发工程师、数据科学家、数据分析师等，并且与其他