大数据采集与预处理技术（微课版）课件 4.3 图书信息数据采集scrapy数据持久化.pptx

大数据采集与预处理技术

**;项目二图书信息数据采集与预处理;任务一分布式采集环境安装配置;三、Scrapy数据持久化

Scrapy可以将parse方法返回的数据存储到不同的文件或数据库中。

1、保存到文件：

①保存到CSV

命令方法：scrapycrawlexampl(爬虫程序名称)–o***.csv(保存文件名)

代码方法：可在parse方法中直接通过Python代码写入文件中：;1、保存到文件：

②写入JSON文件

命令方法：scrapycrawlexampl(爬虫程序名称)–o***.json(保存文件名)

代码方法：可在parse方法中直接通