理解Scrapy网络爬虫框架的工作原理.pdfVIP

/ 01 / Scrapy 爬虫框架 Scrapy 是一个使用 Python 编程语言编写的爬虫框架，任何人都可以根 据自己的需求进行修改，并且使用起来非常的方便。它可以应用在数据采集、 数据挖掘、网络异常用户检测、存储数据等方面。 Scrapy 使用了 Twisted 异 步网络库来处理网络通讯。整体架构大致如下图所示。 / 02 / Scrapy 爬虫框架组成 由上图可知 Scrapy 爬虫框架主要由 5 个部分组成，分别是： Scrapy Engine （Scrapy 引擎）， Scheduler （调度器）， Downloader （下载器）， Spiders （蜘蛛），Item Pipeline （项目管道）。爬取过程是 Scrapy 引擎 发送请求，之后调度器把初始 URL交给下载器，然后下载器向服务器发送服 务请求，得到响应后将下载的网页内容交与蜘蛛来处理，尔后蜘蛛会对网页 进行详细的解析。蜘蛛分析的结果有两种：一种是得到新的 URL，之后再次 请求调度器，开始进行新一轮的爬取，不断的重复上述过程；另一种是得到 所需的数据，之后会转交给项目管道继续处理。项目管道负责数据的清洗、 验证、过滤、去重和存储等后期处理，最后由 Pipeline 输出到文件中，或 者存入数据库等。 / 03 / 五大组件及其中间件的功能 这五大组件及其中间件的功能如下： 1) Scrapy 引擎：控制整个系统的数据处理流程，触发事务处理流程，负责 串联各个模块 2) Scheduler （调度器）：维护待爬取的 URL队列，当接受引擎发送的请求 时，会从待爬取的 URL队列中取出下一个 URL返回给调度器。 3) Downloader （下载器）：向该网络服务器发送下载页面的请求，用于下 载网页内容，并将网页内容交与蜘蛛去处理。 4) Spiders （蜘蛛）：制定要爬取的网站地址，选择所需数据内容，定义域 名过滤规则和网页的解析规则等。 5) Item Pipeline （项目管道）：处理由蜘蛛从网页中抽取的数据，主要任 务是清洗、验证、过滤、去重和存储数据等。 6) 中间件（ Middlewares ）：中间件是处于 Scrapy 引擎和 Scheduler ， Downloader ，Spiders 之间的构件，主要是处理它们之间的请求及响应。 Scrapy 爬虫框架可以很方便的完成网上数据的采集工作，简单轻巧，使 用起来非常方便。 / 04 / 基于 Scrapy 的网络爬虫设计与实现 在了解 Scrapy 爬虫原理及框架的基础上，本节简要介绍 Scrapy 爬虫框 架的数据采集过程。 4.1 建立爬虫项目文件 基于 scrapy 爬虫框架，只需在命令行中输入“ scrapy startproject article ”命令，之后一个名为 article 的爬虫项目将自动创建。首先进入 到 article 文件夹下，输入命令“ cd article ”，之后通过“ dir ”查看目 录，也可以通过“ tree /f ”生成文件目录的树形结构，如下图所示，可以 很清晰的看到 Scrapy 创建命令生成的文件。 爬虫项目目录结构 顶层的 article 文件夹是项目名，第二层中包含的是一个与项目名同名 的文件夹 article 和一个文件 scrapy.cfg ，这个与项目同名的文件夹 a