SparkSQL操作示例：创建DataFrame与基本数据处理.pdfVIP

frompyspark.sqlimportSparkSession

frompyspark.sql.typesimport*

spark=SparkSession.builder.appName(file).getOrCreate()员工=[

(1,John,25),(2,Ray,35),(3,Mike,24),(4,Jane,28),(5,Kevin,26),(6,Vincent,35),(7,James,38),(8,

Shane,32),(9,Larry,29),(10,Kimberly,29),(11,Alex,28),(12,Garry,25),(13,Max,31)]模式=

_

StructType([StructField(empid,IntegerType(),True),StructField(name,StringType(),True),

StructField(age,IntegerType(),True)])df=spark.createDataFrame(employees,schema=schema)

#查看字段名称及数据类型

df.dypes

#打印数据

df.show()

#打印数据前两行

df.head(2)

#打印数据第一行

df.firs