第6章分布式爬虫第2节Scrapyredis框架的使用77.pptxVIP

第6章分布式爬虫

——第2节Scrapy-redis框架的使用

www.zhonghui.vip

【学习目标】

Ø（1）掌握分布式爬虫工程的创建

Ø（2）掌握分布式爬虫的相关配置

www.zhonghui.vip2

目录

u1创建分布式爬虫工程

CONTENTS

u2继承RedisSpider类

u3分布式爬虫的配置

www.zhonghui.vip

2.1创建分布式爬虫工程

Ø项目创建

用scrapystartprojectmyRedisSpider命令来新建项目，然后进入到项目目录(myRedisSpider)下创

建一个名为tieba的爬虫。使用命令scrapygenspidertieba。

www.zhonghui.vip4

目录

u1创建分布式爬虫工程

CONTENTS

u2继承RedisSpider类

u3分布式爬虫的配置

www.zhonghui.vip

2.2继承RedisSpider类

使用上面的scrapy的项目需要进行修改一下，这个爬虫继承了RedisSpider，它能够支持分布式的抓

取，采用的是basicspider，需要写parse函数。其次就是不再有start_urls了，取而代之的是redis_key，

Scrapy-redis将key从Redis里pop出来，成为请求的url地址。

www.zhonghui.vip6

目录

u1创建分布式爬虫工程

CONTENTS

u2继承RedisSpider类

u3分布式爬虫的配置

www.zhonghui.vip

2.3分布式爬虫的配置

设置ROBOTSTXT_OBEY=False之后，在settings.py文件中添加如下关键代码

ITEM_PIPELINES={

myRedisSpider.pipelines.MyredisspiderPipeline:300,

scrapy_redis.pipelines.RedisPipeline:400,#将数据存到redis数据库(优先级要比其他管道低(数值高))}

#scrapy_redis去重组件

DUPEFILTER_CLASS=scrapy_redis.dupefilter.RFPDupeFilter

#scrapy_redis调度器组件

SCHEDULER=scrapy_redis.scheduler.Scheduler

#可中途暂停,不清空信息

SCHEDULER_PERSIST=True

www.zhonghui.vip