Python爬虫实例教程29. Scrapy分布式爬虫.pptx

Python爬虫实例教程讲师：日月光华Scrapy分布式爬虫答疑群：945189407分布式爬虫分布式爬虫也就是集群爬虫，当遇到大型的爬虫任务，单台计算机是难以满足抓取需求的，毕竟单机有CPU、IO、带宽等多重限制，可以尝试分布式爬虫扩展性能，从而使我们的爬虫更快更高效。调度服务器度服务器的爬取队列一般通过Redis数据库维护。Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、非关系型、Key-Value数据库，其结构十分灵活。Redis的安装要安装Redis，Linux和Mac操作系统可以从Redis官网：https://redis.io/download下载解压后编译安装。Redis的安装对于Windows系统，Redis官网并没有提供下载安装版本，我们从下面这个网址：/MicrosoftArchive/redis/releases下载第二个zip文件Redis的安装下载后解压到硬盘根目录，比如C盘Redis目录下，然后在运行中输入cmd，把目录指向解压的Redis目录，输入如下启动命令： redis-server redis.windows.conf scrapy_redis库 分布式爬虫的实现原理并安装了Redis，那么如何实现分布式爬虫框架呢？scrapy_redis库提供了所需的功能，scrapy_redis改写了Scrapy的调度