《Spark大数据技术与应用案例教程》教案 第11课 存储整理后的商品信息.pdfVIP

课题存储整理后的商品信息

课时2课时（90min）

知识技能目标：

（1）掌握将DataFrame数据保存到数据文件的方法

（2）掌握将DataFrame数据保存到MySQL数据库的方法

教学目标

（3）掌握将DataFrame数据保存到Hive表的方法

素质目标：

培养举一反三的能力，学会融会贯通

教学重点：将DataFrame数据保存到数据文件、MySQL数据库和Hive表

教学重难点

教学难点：将DataFrame保存为不同的数据类型

教学方法案例分析法、问答法、讨论法、讲授法

教学用具电脑、投影仪、多媒体课件、教材

教学过程主要教学内容及步骤

【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，完成课

前任务

课前任务

请大家了解将DataFrame保存为不同数据类型的方法。

【学生】完成课前任务

【教师】使APP进行签到

考勤

【学生】班干部报请假人员及原因

【教师】提出以下问题：

问题导入DataFrame可以保存为哪些数据类型？

【学生】思考、举手回答

【教师】通过学生的回答引入新知，讲解将DataFrame数据保存到数据文件、MySQL数据库和Hive

表的方法

一、保存DataFrame数据到数据文件

【教师】介绍保存DataFrame数据到数据文件的方法

保存DataFrame数据到数据文件时，使用SparkSession对象的write属性获取SparkSQL中用于将

DataFrame存储到其他存储系统的对象DataFrameWriter后，可以直接使用DataFrameWriter对象的

text()、json()、csv()或parquet()方法将DataFrame保存到文本文件、JSON文件、CSV文件或Parquet文

件；也可以使用DataFrameWriter对象的format()方法指定输出数据的格式，接着使用该对象的save()方

法将DataFrame的数据保存到不同的数据文件。参考示例如下。

传授新知

#保存DataFrame数据到文本文件中

df.write.text(student.txt)#方法一

df.write.format(text).save(student.txt)#方法二

#保存DataFrame数据到JSON文件中

df.write.json(student.json)#方法一

df.write.format(json).save(student.json)#方法二

1

#保存DataFrame数据到CSV文件中

df.write.csv(student.csv)#方法一

df.write.format(csv).save(student.csv)#方法二