教案 Ch9.更强大的爬虫.pptVIP

标注 字体使用 行距 背景图片出处 声明 英文 Microsoft YaHei 中文 微软雅黑 正文 1.3 本网站所提供的任何信息内容（包括但不限于 PPT 模板、Word 文档、Excel 图表、图片素材等）均受《中华人民共和国著作权法》、《信息网络传播权保护条例》及其他适用的法律法规的保护，未经权利人书面明确授权，信息内容的任何部分(包括图片或图表)不得被全部或部分的复制、传播、销售，否则将承担法律责任。 OfficePLUS 背景图片素材 OfficePLUS 点击Logo获取更多优质模板（放映模式） 更强大的爬虫 第9章 更强大的爬虫 Add Text 点击此处添加标题 爬虫框架 网站反爬虫 多进程与分布式 目录 更强大的爬虫 1. 爬虫框架 Scrapy 更强大的爬虫 1. 爬虫框架 Scrapy的组件 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务，是框架的核心 调度器(Scheduler): 用来接受引擎发过来的请求, 将请求放入队列中, 并在引擎再次请求的时候返回。它决定下一个要抓取的网址, 同时担负着网址去重这一重要工作。 下载器(Downloader): 用于下载网页内容, 并将网页内容返回给爬虫。下载器的基础是twisted，一个Python网络引擎框架。 爬虫(Spiders): 用于从特定的网页中提取自己需要的信息, 即Scrapy中所谓的实体(Item)。也可以从中提取出链接，让Scrapy继续抓取下一个页面 管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化信息、验证实体的有效性、清洗信息等。当页面被爬虫解析后，将被发送到管道，并经过特定的程序来处理数据。 下载器中间件(Downloader Middlewares): Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。 爬虫中间件(Spider Middlewares): Scrapy引擎和爬虫之间的框架，主要工作是处理爬虫的响应输入和请求输出。 调度中间件(Scheduler Middewares): Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。 更强大的爬虫 1. 爬虫框架 Scrapy的工作流程 第一步，引擎打开一个网站，找到处理该网站的爬虫（spider），并向该spider请求第一个要爬取的url。第二步，引擎从spider中获取到第一个要爬取的url并在调度器(scheduler)中以requests调度。然后，引擎向调度器请求下一个要爬取的url。第四步，调度器返回下一个要爬取的url给引擎，引擎将url通过下载器中间件转发给下载器(Downloader)。 一旦页面下载完毕，下载器会生成一个该页面的responses，并将其通过下载器中间件发送给引擎。引擎从下载器中接收到responses并通过spider中间件(Spider Middlewares)发送给spider处理。之后spider处理responses并返回爬取到的Item及发送(跟进的)新的resquests给引擎。引擎将爬取到的Item传递给Item Pipeline，将(spider返回的)requests传递给调度器。重复以上从第二步开始的过程直到调度器中没有更多的request，最终引擎关闭网站 更强大的爬虫 1. 爬虫框架 pip install scrapy 创建Scrapy项目 Item Pipeline # -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# /en/latest/topics/items.htmlimport scrapy class NewcrawlerItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass 更强大的爬虫 1. 爬虫框架 定制Item类与DoubanSpider class TextItem(scrapy.Item): # define the fields for your item here like: text = scrapy.Field() # -*- coding: utf-8 -*-import scrapyfrom scrapy.selector import Selectorfrom ..items import Text