《大数据采集技术》课件——项目3：校园消费数据存储.pptxVIP

大数据，大智慧，大未来项目3：3.1校园消费数据存储

项目描述项目2介绍了校园消费数据采集的方法，并将采集到的数据分别保存于二维列表、列表字典组合以及dataframe数据框中，本项目将介绍二维列表数据保存为csv文件和mysql数据库，列表字典组合保存为csv文件，以及dataframe数据保存为csv文件和excel文件的方法。数据格式csv文件excel文件mysql数据库二维列表形式√?√列表字典组合形式√??dataframe形式√√

任务分解项目3校园消费数据存储任务3.3字典列表组合保存为csv文件csv任务3.4dataframe保存为csv文件pandas任务3.1二维列表保存为csv文件open任务3.5dataframe保存为excel文件任务3.2二维列表保存为mysql数据库pymysql0102030405

大数据，大智慧，大未来3.2二维列表保存为MySQL数据库

任务描述本任务将介绍如何使用pymysql第三方库，将二维列表数据保存于mysql数据据。在完成本任务之前，如果电脑上还没有安装mysql，请参照本项目附录进行安装，并创建数据库myCrawl，并在该数据库中创建数据表，然后再执行保存操作。

壹知识储备Knowledgereserve贰技能小练Skillpractice叁任务实施Taskimplementation肆任务小结TasksummaryCONTENTS目录

知识储备第一环节pymysql

知识点3.2pymysqlpymysql是一个python连接操作mysql数据的一个模块。对于数据库的操作，我们一般是这样的操作：（1）连接数据库（2）数据库的操作（增删改查）（3）关闭数据库连接

知识点3.2pymysql

知识点3.2pymysqlconnect()方法返回要给数据库连接对象，参数可以传入很多，常用的参数有：host、port、user、password、database、charset。?host：mysql服务器地址?port：mysql服务器连接端口，默认值为3306?user：用户名?password：密码?database：数据库名称?charset：编码方式，推荐使用utf8mb4执行完sql操作后，必须使用close()关闭,close()数据库连接对象的一个方法，用于关闭数据库连接。技能小练

技能小练第二环节

技能2：pymysql小练要求（1）创建数据库myCrawl，往数据表tb_zhifubao插入如下记录；（2）查询tb_zhifubao表，显示所有字段值。交易时间交易号订单号支付渠道业务类型门店名称餐别会员姓名会员编号应收金额实收金额是否分账子收款商户号分账状态2022-03-1508:36:432022031522001414811403915340220315083644426789支付宝收款教工食堂--王海圳20091631301.501.50否----

任务实施第三环节

子任务划分定义函数，使用pymysql第三方库将二维列表保存为musql数据库函数定义创建数据库和数据表创建数据库创建数据表函数调用及验证调用函数，将数据保存为mysql数据库查看数据库，验证结果

任务小结第四环节

任务小结通过知识储备我们掌握了pymysql第三方库的用法，理解了使用pymysql第三方库将数据保存到mysql数据库，并查询显示其中数据，在任务实施阶段，我们使用pymysql将以二维列表保存的消费数据存储为mysql数据库，为后续数据分析做准备。

大数据，大智慧，大未来3.3字典列表组合保存为CSV文件

任务描述在任务2.4.2中，将采集到的消费数据保存为列表字典组合，如图所示。本任务将介绍如何使用csv标准库，把列表字典组合数据保存为csv文件。

壹知识储备Knowledgereserve贰技能小练Skillpractice叁任务实施Taskimplementation肆任务小结TasksummaryCONTENTS目录

知识储备第一环节CSV

知识点3.3csvCSV，Comma-SeparatedValues，中文名为逗号分隔值，其文件以纯文本形式存储表格数据（数字和文本）。CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。csv文件可以用excel或者记事本打开。csv库常用的对象：?csv.reader：从csv文件读取数据，返回list?csv.writer：往csv文件写入数据，需要传入list?csv.DictReader：从csv文件读取数据，返回dict?csv.DictWriter：往csv文件写入数据，需要传入dict?csv.Dialect:指定c