《Python网络爬虫基础教程》课件 第11章 分布式网络爬虫Scrapy-Redis.pptxVIP

第11章分布式网络爬虫Scrapy-Redis;学习目标/Target;章节概述/Summary;目录/Contents;目录/Contents;分布式爬虫简介;;Scrapy框架是一个通用的网络爬虫框架，应用极其广泛，但Scrapy框架本身并不支持分布式部署，也就是说无法在多台计算机中同时执行网络爬虫程序，导致采集数据的效率受到限制。为了提升网络爬虫的采集效率，Scrapy-Redis在Scrapy的基础上增加了一些以Redis数据库为基础的组件，通过这些组件可以让Scrapy框架实现分布式网络爬虫的功能。;分布式网络爬虫可以理解为集群爬虫，每个网络爬虫会从互联网上抓取网页数据，并将解析后提取的目标数据保存到文件或数据库中。分布式网络爬虫的设计重点在于多台计算机中的网络爬虫如何进行通信，按不同的通信方式可以分为3种模式，分别是主从模式、自治模式与混合模式。;11.1分布式网络爬虫简介;11.1分布式网络爬虫简介;11.1分布式网络爬虫简介;11.1分布式网络爬虫简介;11.1分布式网络爬虫简介;11.1分布式网络爬虫简介;Scrapy-Redis架构;;11.2Scrapy-Redis架构;11.2Scrapy-Redis架构;11.2Scrapy-Redis架构;Scrapy框架原生的Scheduler基于改造的Python双向队列，形成专用的Scra