第10章 Scrapy核心组件与CrawlSpider类.pptxVIP

第10章 Scrapy核心组件与CrawlSpider类;学习目标/Target;学习目标/Target;章节概述/ Summary;目录/Contents;目录/Contents;Spiders组件;;Spiders组件是Scrapy框架的核心组件，它定义了网络爬虫抓取网站数据的方式，包括抓取的动作，比如是否跟进链接，以及如何从网页内容中提取结构化数据。换言之，Spiders组件用于定义抓取网页数据的动作及解析网页数据。;10.1 Spiders组件;10.1 Spiders组件;Scrapy框架提供了Spider作为爬虫的基类，自定义的爬虫需要继承这个类。scrapy.Spider类的常用属性和方法。;Item Pipeline组件;;当Item对象在Spiders中被收集之后，会被传递给Item Pipeline组件。Item Pipeline组件的功能代码位于Scrapy项目的pipelines.py文件中，该文件中可以定义多个管道，这些管道会按照定义的顺序依次处理Item对象。;每个管道其实是一个独立的Python类，该类中有3个核心方法：process_item()、open_spider()和close_spider()，其中process_item()方法是必须实现的，其他两个方法是可选实现的。;10.2 Item Pipeline组件;10.2 Item Pipeline组件;10.2 Item Pipeline组件;10.2 Item Pipeline组件;10.2 Item Pipeline组件;10.2 Item Pipeline组件;Downloader Middlewares组件;Downloader Middlewares是下载中间件，它处于引擎和下载器之间，多个下载中间件可以被同时加载运行。下载中间件可以在请求传递给下载器之前对请求进行处理，比如为请求添加请求头，也可以在响应传递给引擎之前对响应进行处理，比如进行gzip的解压。Scrapy中提供了一些内置中间件，我们也可以自定义中间件。;;Scrapy中附带了许多下载中间件，这些中间件被变量DOWNLOADER _MIDDLEWARES_BASE所定义。;10.3.1 内置下载中间件;;10.3.2 自定义下载中间件;;;;process_response()方法返回值有两种情况，分别是Response对象或Request对象，另外可能会抛出一个IgnoreRequest异常。;10.3.2 自定义下载中间件;10.3.2 自定义下载中间件;;如果希望自定义的下载中间件能够应用到程序中，需要激活下载中间件。激活下载中间件只需要将该下载中间件添加到settings.py文件的配置项DOWNLOADER_MIDDLEWARES中。;如果希望禁用某个下载中间件，必须在DOWNLOADER_MIDDLEWARES中定义该下载中间件，并将该下载中间件的值设置为None。;Settings组件;Settings组件用于定制Scrapy中所有组件的行为，包括核心组件、扩展组件、管道以及Spiders组件等。settings.py是Scrapy项目的标准配置文件，该文件是Settings组件应用的地方，用于为Scrapy项目添加或更改配置。;BOT_NAME用于设置使用Scrapy实现的bot名称，也叫项目名称，默认名称为scrapybot。该名称用于构造默认的User-Agent，同时也用于记录日志。 CONCURRENT_ITEMS用于设置Item Pipeline组件可以同时处理每个Response的Item对象的最大值，默认值为100。 CONCURRENT_REQUESTS用于设置下载器可以处理并发请求（concurrent requests）的最大值，默认值为16。 DEFAULT_REQUEST_HEADERS用于设置Request使用的请求头。 DEPTH_LIMIT用于设置抓取网站最大允许的深度（depth）值。默认值为0，表示没有限制。 DOWNLOAD_DELAY用于设置下载器在下载同一网站的下一页面前所需要等待的时间（单位为秒），默认值为0。;DOWNLOAD_TIMEOUT用于设置下载器的超时时间，单位为秒，默认值为180。 ITEM_PIPELINES用于设置管道的调用顺序，它对应的值是一个保存项目中启用的管道及其调用顺序的字典，默认值为空。 LOG_ENABLED用于设置是否启用logging，默认值是True。 LOG_ENCODING用于设置logging使用的编码，默认值是utf-8。 LOG_LEVEL用于设置log的最低级别，它支持的级别取值包括CRITICAL、ERROR、WARNING、INFO、DEBUG，默认值