《Python网络爬虫基础教程》课件 第10章 Scrapy核心组件与CrawlSpider类.pptxVIP

第10章Scrapy核心组件与CrawlSpider类;学习目标/Target;学习目标/Target;章节概述/Summary;目录/Contents;目录/Contents;Spiders组件;;在Scrapy框架中，Spiders组件作为数据抓取的核心控制单元，负责定义网页采集策略与数据解析逻辑，具体包括指定起始URL、配置链接跟踪规则，以及从页面中提取结构化数据。每个Spider组件以Python类形式存在，开发者通过自定义类的属性与方法来精确控制抓取行为，最终将解析的数据封装为Item对象输出。;10.1Spiders组件;10.1Spiders组件;10.1Spiders组件;Scrapy框架提供了Spider作为爬虫的基类，自定义的爬虫需要继承这个类。scrapy.Spider类的常用属性和方法。

name属性：表示网络爬虫的名称。由于爬虫名称用于被Scrapy定位和初始化一个爬虫，所以它必须是唯一的。通常情况下，我们会将待抓取网站的域名作为爬虫名称。例如，抓取域名为网站的爬虫被命名为mywebsite。

allowed_domains属性：限制爬虫抓取范围的域名列表。

start_urls属性：表示初始URL元组或列表。当没有指定URL时，爬虫会从该列表中开始抓取。

__init__()方法：负责初始化爬虫名称和初始URL列表。;10.1Spide