Python爬虫数据存储82课件讲解.pptxVIP

Python爬虫

数据存储

目录010203保存为文本文件MySQL存储MongoDB存储

1、TXT文本文件存储—操作简单，但不利于检索—实例：以电影实例网站（https://ssr1.scrape.center/）为例方法一：open方法（省去requests异常处理部分）保存文本文件

方法二：withas语法（不需要再调用close方法）保存文本文件

常用文件打开方式：保存文本文件

2、JSON文件存储JSON—全称为JavaScriptObjectNotation,也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。实例：将字符串转为JSON对象保存文本文件双引号Why？参数为JSON字符串运行结果？JSON形式的字符串列表(可操作的数据结构)

JSON读取—Python为我们提供了简单易用的JSON库来实现JSON文件的读写操作，我们可以调用JSON库的loads方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串load方法：参数为一个文件操作对象JSON读取loads方法：参数为JSON字符串注：JSON字符串的表示需要用双引号，否则loads方法会解析失败保存文本文件

JSON输出—调用dumps方法将JSON对象转化为字符串（如果想保存JSON的格式，可以再加一个参数indent，代表缩进字符个数）—实例演示：输出JSONJSON对象中包含中文字符—指定参数ensure_ascii为False—实例演示：JSON对象中包含中文字符保存文本文件

3、CSV文件存储CSV—全称为Comma-SeparatedValues，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据CSV文件—该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成（结构化表的纯文本形式）保存文本文件

1）CSV文件写入—实例一：写入（调用csv库的writer方法初始化写入对象，然后调用writerow方法传入每行的数据即可完成写入）—运行结果：生成一个data.csv的文件观察：结果中文本有什么特点？写入的文本默认以逗号分隔，调用一次writerow方法即可写入一行数据保存文本文件

1）CSV文件写入—实例二：delimiter参数（修改列与列之间的分隔符）保存文本文件运行结果空格

1）CSV文件写入—实例三：写入多行（调用writerows方法同时写入多行）注：此时参数需要为二维列表保存文本文件

1）CSV文件写入—实例四：①写入字典（将字典写入CSV文件中）保存文本文件

1）CSV文件写入—实例四：②追加写入（将open函数的第二个参数改成a）注：如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给open参数指定编码格式保存文本文件

1）CSV文件写入—实例五：①to_csv方法写入文件（需安装pandas库）保存文本文件

2）CSV文件读取—实例一：使用csv库来读取CSV文件注：如果CSV文件中包含中文，还需要指定文件编码保存文本文件构造了Reader对象通过遍历输出文件中每行内容，每行都是一个列表

2）CSV文件读取—实例二：使用read_csv库方法读取保存文本文件如果只想读取文件里面的数据，可以把df再进一步转化为列表或者元组直接对df进行逐行遍历，同样能得到列表类型的结果

1、准备工作①已安装好MySQL数据库并保证能正常运行②安装PyMySQL库MySQL存储pip3installpymysql

2、连接并创建数据库假定：当前的MySQL运行在本地，用户名为root，密码123456，运行端口为3306步骤：①通过PyMySQL的connect方法声明一个MySQL连接对象dbMySQL存储参数1：本地运行传入localhost，远程运行传入其公网IP地址参数2：用户名参数3：密码参数4：端口（默认3306）

步骤：②连接成功后，需要再调用cursor方法获得MySQL的操作游标（利用游标来执行SQL语句）③调用execute方法执行④创建数据库MySQL存储

代码如下：MySQL存储获得MySQL的当前版本得到第一条数据（版本号）创