第11章 分布式网络爬虫Scrapy-Redis.pptxVIP

第11章 分布式网络爬虫Scrapy-Redis;学习目标/Target;章节概述/ Summary;目录/Contents;目录/Contents;分布式爬虫简介;;Scrapy框架是一个通用的网络爬虫框架，应用极其广泛，但Scrapy框架本身并不支持分布式部署 ，也就是说无法在多台计算机中同时执行网络爬虫程序，导致采集数据的效率受到限制。为了提升网络爬虫的采集效率，Scrapy-Redis在Scrapy的基础上增加了一些以Redis数据库为基础的组件，通过这些组件可以让Scrapy框架实现分布式网络爬虫的功能。;分布式网络爬虫可以理解为集群爬虫，每个网络爬虫会从互联???上抓取网页数据，并将解析后提取的目标数据保存到文件或数据库中。分布式网络爬虫的设计重点在于多台计算机中的网络爬虫如何进行通信，按不同的通信方式可以分为3种模式，分别是主从模式、自治模式与混合模式。;11.1 分布式网络爬虫简介;11.1 分布式网络爬虫简介;11.1 分布式网络爬虫简介;11.1 分布式网络爬虫简介;11.1 分布式网络爬虫简介;11.1 分布式网络爬虫简介;Scrapy-Redis架构;;11.2 Scrapy-Redis架构;11.2 Scrapy-Redis架构;11.2 Scrapy-Redis架构;;;;;Scrapy-Redis运作流程;;(1)Scrapy Engine从Spiders中获取初始URL。 (2)Scrapy Engine将初始URL封装成请求，并将该请求交给Scheduler。 (3)Scheduler访问Redis数据库对请求进行判重，如果该请求不是重复的，就将该请求添加到Redis数据库中。 (4)当调度条件满足时，Scheduler会从Redis数据库中取出Request交给Scrapy Engine，Scrapy Engine将这个Request通过Downloader Middlewares转交给Downloader。 (5)一旦页面下载完毕，Downloader会将服务器返回的响应通过Downloader Middlewares交给Scrapy Engine。 (6)Scrapy Engine通过Spider Middlewares发送给Spiders进行处理。 (7)Spiders处理响应，并返回采集到的Item数据以及新Request交给Scrapy Engine。 (8)Scrapy Engine将爬取到的Item数据通过Item Pipeline交给Redis数据库，将Request给Scheduler。 (9)从第2步开始重复，直到Scheduler中没有更多的Request为止。;Scrapy-Redis开发准备;;安装Scrapy-Redis的方式非常简单，可以直接通过pip工具安装Scrapy-Redis库。;;11.4.2 修改配置文件;11.4.2 修改配置文件;;11.4.3 测试远程连接;11.4.3 测试远程连接;11.4.3 测试远程连接;11.4.3 测试远程连接;11.4.3 测试远程连接;多学一招;Scrapy-Redis的基本操作;Scrapy-Redis可以看作Scrapy框架的插件，它里面重新实现了Scrapy框架中部分组件的功能，使Scrapy框架支持开发分布式网络爬虫。因此，可以先创建一个Scrapy项目，然后在Scrapy项目中增加Scrapy-Redis的相关配置，并使用替换的组件进行开发。;;打开命令行窗口，先切换当前工作路径为项目要存放的目录，再输入创建Scrapy项目的命令，具体命令如下。;11.5.1 新建Scrapy-Redis项目;11.5.1 新建Scrapy-Redis项目;11.5.1 新建Scrapy-Redis项目;;11.5.2 明确采集目标;;Scrapy-Redis的scrapy_redis.spiders模块中定义了两个代表爬虫的类：RedisSpider和RedisCrawlSpider，其中RedisSpider是Spider的派生类，RedisCrawlSpider是CrawlSpider类的派生类，这两个类默认已经拥有了父类中的成员，此外也定义了自己的属性，如redis_key和allowed_domains属性。;;;11.5.3 制作爬虫;11.5.3 制作爬虫;;11.5.4 运行爬虫;11.5.4 运行爬虫;（4）使用lpush命令发布指令到Slave端。lpush命令有着固定的格式，具体如下。;;在Scrapy-Redis项目中，同样也可以定义多个管道，并让这些管道按照一定的顺序依次处理Item数据。;每个管道都是一个独立的Python类，并在该类中必须实现process_item()方法。例如，定义3