PySpark大数据技术与应用 课件 3.3 DataFrame基础操作.pptx

DataFrame基础操作;;PySpark中的DataFrame等价于SparkSQL中的关系表。

在PySpark中，DataFrame由列（Column）和行（Row）构成，DataFrame操作主要有创建、查询和输出操作，由一系列DataFrameAPI实现。

本节示例操作数据集来自某航空公司客户管理系统，为了便于演示，将数据集分解为三个数据文件。

air_data_customer.csv文件（会员基本信息表）

air_data_flight.csv文件（乘机信息表）

air_data_points.csv文件（积分信息表）;数据集概况

会员基本信息表;数据集概况

乘机信息表

;数据集概况

积分信息表

;在PySpark中，创建DataFrame对象主要有以下几种方法：

从结构化数据文件创建DataFrame：使用pyspark.sql.SparkSession.read模块，可以从多种格式的文件中读取数据并创建DataFrame。例如，从CSV、JSON、Parquet等文件格式中读取数据。

从外部数据库创建DataFrame：通过pyspark.sql.SparkSession.read.format(jdbc)方法可以从关系型数据库表中读取数据并创建DataFrame。

通过RDD创建DataFrame：如果已有一个pyspark.sql.SparkSessio