基于Scrapy构建数据采集系统-资源 中间件延伸 中间件延伸.docxVIP

中间件延伸 PAGE 1 [文档标题 中间件延伸 一、中间件简述 爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间件的作用对象是爬虫，更具体地来说，就是写在spiders文件夹下面的各个文件。它们的关系，在Scrapy的数据流图上可以很好地区分开来，如下图所示。 其中，图中标识4、5的表示下载器中间件，6、7表示爬虫中间件。爬虫中间件会在以下几种情况被调用。 当运行到yield scrapy.Request()或者yield item的时候，爬虫中间件的process_spider_output()方法被调用。 当爬虫本身的代码出现了Exception的时候，爬虫中间件的process_spider_exception()方法被调用。 当爬虫里面的某一个回调函数parse_xxx()被调用之前，爬虫中间件的process_spider_input()方法被调用。 当运行到start_requests()的时候，爬虫中间件的process_start_requests()方法被调用。 二、激活爬虫中间件 中间件的激活方式与下载器中间件非常相似，在settings.py中，在下载器中间件配置项的上面就是爬虫中间件的配置项，它默认也是被注释了的，解除注释，并把自定义的爬虫中间件添加进去即可，如下图所示： Scrapy也有几个自带的爬虫中间件，它们的名字和顺序如下图所示。 下载器中间件的数字越小越接近Scrapy引擎，数字越大越接近爬虫。如果不能确定自定义中间件应该靠近哪个方向，那么就在500～700之间选择最好。