PySpark大数据技术与应用 课件 3.2 pyspark.sql模块.pptx

pyspark.sql模块;;pyspark.sql模块是PySpark用于处理结构化数据的模块，是SparkSQL面向Python的API。

在Python环境中可以通过调用pyspark.sql模块中多个功能不同的类对Spark进行操作，完成大数据框架下的数据分析与处理。

Spark的模块化设计思想能够使问题求解逻辑更清晰、使程序易于维护和修改。

我们在日常生活、工作中遇到问题时，需发扬斗争精神，可将大问题分解为一个个小任务，逐个攻克，在团队中能更好地分工协作、各行其责。

;pyspark.sql模块包含一系列类，各种类具有不同功能，与SparkSQL和DataFrame相关的类功能说明如下表。;;pyspark.sql模块核心类主要有pyspark.sql.SparkSession和pyspark.sql.DataFrame。

1．pyspark.sql.SparkSession

pyspark.sql.SparkSession是使用SparkSQL开发应用程序的主入口，SparkSQL编程从创建SparkSession对象开始。

SparkSession对象不仅提供一系列API，如创建DataFrame对象API、读取外部数据源并转化DataFrame对象API、执行SQL查询和处理API，还负责Spark集群运行的控制、调优参数，是SparkSQL的Contex