Python网络爬虫技术项目化教程 课件 项目六 引入Scrapy框架 - “构建高效的网络爬虫”.pptx

项目6

引入Scrapy框架–

“构建高效的网络爬虫”

任务6.1Scrapy爬虫框架基础

6.1.1认识Scrapy框架

定义：用Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架

应用场景：数据挖掘，信息处理或存储历史数据等一系列的程序

扩展性：最初为网页抓取设计，也可用于使用API提取数据，或作为通用的网络爬虫

灵活性：任何人都可以根据需求方便地修改，提供了多种类型爬虫的基类

6.1.2Scrapy框架组件

6.1.2Scrapy框架组件

1.ScrapyEngine(引擎)

角色：框架的大脑

主要功能：

调度请求与响应循环

从调度器获取待处理的Req