Scrapy框架教程：持久化存储与多URL爬取策略.pdfVIP

Scrapy框架课程介绍：

1.框架的简介和基础使用

2.持久化

3.和

4.日志等级和请求传参

5.CrawlSpider

6.基于redis的分布式爬虫

持久化操作：

a.磁盘文件

a)基于终端指令

i.保证parse方法返回一个可迭代类型的对象（解析到的页面

内容）

ii.使用终端指令完成数据到制定磁盘文件中的操作

1.scrapycrawl爬虫文件名称–o磁盘文件.后缀

b)基于管道

i.items：解析到的页面数据

ii.pipelines：处理持久化的相关操作

iii.代码实现流程：

1.将解析到的页面数据到items对象

2.使用yield关键字将items提交给管道文件进行处理

3.在管道文件中编写代码完成数据的操作

4.在配置文件中开启管道操作

b.数据库