第5章Scrapy爬虫框架第4节Scrapy中间件41课件.pptxVIP

第5章Scrapy爬虫框架——第4节Scrapy中间件

【学习目标】（1）了解Scrapy中间件的分类（2）了解Scrapy中间件的基本原理

1SpiderMiddlewares介绍2DownloaderMiddlewares介绍

4.1SpiderMiddlewares介绍SpiderMiddlewares是指在源代码之间获取一些信息，并对指定信息进行拦截成功后，用自己的代码执行处理拦截的信息，然后将信息再放出去继续执行之前的进程。这样就可以在不用改变源代码的情况下，做监控、分析等操作。Scrapy引擎爬虫Spider中间件信息流

4.1SpiderMiddlewares介绍我么可以看到，当Downloader生成Response之后，Response被发送给Spider，但是在发送给Spider之前，Response会首先经过SpiderMiddlewares处理，当Spider处理生成Item和Request之后，Item和Request还会经过SpiderMiddlewares的处理。SpiderMiddlewares有如下3个作用。(1)处理后输出Spider回调函数-更改/添加/删除请求或项。(2)处理后启动请求。(3)处理Spider异常句柄。

1SpiderMiddlewares介绍2DownloaderMiddlewares介绍

4.2DownloaderMiddlewares介绍DownloaderMiddlewares是下载中间件，它处于Scrapy的引擎和下载器之间。DownloaderMiddlewares的功能十分强大，包括修改User-Agent、处理重定向、设置代理、失败重试、设置Cookies等Scrapy引擎下载器DownloaderMiddlewarsRequestResponse

4.2DownloaderMiddlewares介绍DownloaderMiddlewares在整个架构中起作用的位置是以下两个：①在Scheduler出队列的Request发送给Downloader下载之前，也就是在Request执行下载之前对其进行修改。②在下载后生成的Response发送给Spider之前，也就是生成的Resposne被Spider解析之前对其进行修改。下载中间件，需要将其添加到DOWNLOADER_MIDDLEWARES中间件设置，该设置是一条指令，其键是中间件类路径，其值是中间件顺序。

下节课见