第5章Scrapy爬虫框架第1节Scrapy框架介绍53课.pptxVIP

第5章Scrapy爬虫框架——第1节Scrapy框架介绍

【学习目标】（1）了解多线程网络爬虫的原理。（2）掌握Scrapy框架的整体架构和组成。（3）掌握Scrapy框架的安装。

1网络爬虫的原理2Scrapy框架的整体架构和组成3安装Scrapy框架

1.1网络爬虫的原理多线程爬取原理多线程爬取网页页码队列Queuecraw-1craw-2craw-3craw-4…爬取网页多线程页码队列--网页源码parse-1parse-2parse-3parse-4…解析网页多线程存储文件（互斥）

1网络爬虫的原理2Scrapy框架的整体架构和组成3安装Scrapy框架

1.2Scrapy框架的整体架构和组成Scrapy框架结构原理

1.2Scrapy框架的整体架构和组成Scrapy框架工作结构和含义名称含义用户行为ScrapyEngine(引擎)负责数据和信息的传递Scrapy已实现Scheduler(调度器)一个队列，存放引擎发的request请求Scrapy已实现Downloader（下载器）下载引擎发的request请求，并返回给引擎Scrapy已实现Spider（爬虫）处理引擎发的response，提取数据，提取url用户自定义ItemPipeline(管道)处理引擎传递的数据用户自定义DownloaderMiddlewares（下载中间件）可以自定义的下载扩展，比如设置代理用户可自定义SpiderMiddlewares（Spider中间件）可以自定义requests请求和进行response过滤用户可自定义

1.2Scrapy框架的整体架构和组成Scrapy发出请求的整个流程1.首先爬虫将需要发送请求的URL(requests)经引擎交给调度器;2.排序处理后，经过ScrapyEngine(引擎)，DownloaderMiddlewares（下载中间件）后交给Downloader；3.Downloader向互联网发送请求，并接收下载响应.将响应经ScrapyEngine(引擎)，可选交给Spider（爬虫）；4.Spider（爬虫）处理response，提取数据并将数据经ScrapyEngine(引擎)交给ItemPipeline(管道)保存；5.提取URL重新经ScrapyEngine(引擎)交给Scheduler(调度器)进行下一个循环，直到无URL请求后程序终止。

1网络爬虫的原理2Scrapy框架的整体架构和组成3安装Scrapy框架

1.3安装Scrapy框架网络安装wheel；pipinstallwheel安装lxml（本地安装或者在线安装）；lxml下载地址找到lxml文件下载到本地的路径，进入cmd安装pipinstalllxml-4.6.3-cp37-cp37m-win_amd64.whl

1.3安装Scrapy框架本地安装pyWin32；pyWin32下载地址pipinstallpywin32-301-cp37-cp37m-win_amd64.whl本地安装Twisted；Twisted下载地址pipinstallTwisted-20.3.0-cp37-cp37m-win_amd64.whl网络安装Scrapy；检测是否安装成功pipinstallscrapyscrapy-h

下节课见