第11章 分布式网络爬虫Scrapy-Redis.pptx

第11章分布式网络爬虫Scrapy-Redis;学习目标/Target;章节概述/Summary;目录/Contents;目录/Contents;分布式爬虫简介;;Scrapy框架是一个通用的网络爬虫框架，应用极其广泛，但Scrapy框架本身并不支持分布式部署，也就是说无法在多台计算机中同时执行网络爬虫程序，导致采集数据的效率受到限制。为了提升网络爬虫的采集效率，Scrapy-Redis在Scrapy的基础上增加了一些以Redis数据库为基础的组件，通过这些组件可以让Scrapy框架实现分布式网络爬虫的功能。;分布式网络爬虫可以理解为集群爬虫，每个网络爬虫会从互联网上抓取网页数据，并将