《数据采集技术》课件——Scrapy 框架的基本操作.pptxVIP

Scrapy框架的基本操作

Contents知识目标技能目标素养目标掌握Scrapy框架的基本操作和标准流程提高我们的数据采集和处理能力培养良好的信息素养和道德意识

Scrapy框架操作步骤Scrapy爬虫的流程大致分为以下四个步骤创建一个新的爬虫项目明确想要抓取的目标制作爬虫开始爬取网页存储爬取内容（一般通过管道进行）新建项目明确目标创建spider存储数据

新建项目命令格式如下：scrapystartproject项目名称在终端使用命令创建Scrapy项目

示例新建项目

新建一个Scrapy项目项目目录结构如下：

创建Spider创建Spider分为以下三个步骤：提取数据运行spider创建spider

创建爬虫创建爬虫的命令格式如下：scrapygenspider爬虫名称爬取域创建Spider

创建Spider示例

创建Spider文件内容如下所示:新创建的爬虫文件baidu.py

创建Spider新创建的爬虫文件baidu.py文件内容如下所示:

创建Spider/board?platform=pcsa=pcindex_entry以百度热搜榜为示例，该页面的内容如下图所示抓取内容就是页面中热搜榜的数据

定义起始URLclassBaiduSpider(scrapy.Spider):name=baiduallowed_domains=[]start_urls=[/board?platform=pcsa=pcindex_entry]创建Spider

defparse(self,response):withopen(hotlist.html,w,encoding=utf-8)asfile: file.write(response.text)处理响应对象创建Spider定义parse方法，对响应对象进行处理

运行Spider命令格式为：运行爬虫scrapycrawl爬虫名称

示例运行Spider

Scrapy框架的基本操作实操案例

定义起始URLclassBaiduSpider(scrapy.Spider):name=baiduallowed_domains=[]start_urls=[/board?platform=pcsa=pcindex_entry]创建Spider

本讲小结创建scrapy项目1scrapystartprojectmySpider生成spider2cdmySpiderscrapygenspiderbaidu“”

本讲小结定义start_urls，定义parse()方法3运行spider4scrapycrawlbaidu

本讲小结创建scrapy项目1scrapystartprojectmySpider生成spider2cdmySpiderscrapygenspiderbaidu“”定义start_urls，定义parse()方法3运行spider4scrapycrawlbaidu

课后作业1创建第一个Scrapy项目2抓取热点新闻3熟悉Scrapy框架的基本操作

Scrapy框架操作步骤Scrapy爬虫的流程大致分为以下四个步骤创建一个新的爬虫项目明确想要抓取的目标制作爬虫开始爬取网页存储爬取内容（一般通过管道进行）新建项目明确目标创建spider存储数据

Scrapy框架操作步骤Scrapy爬虫的流程大致分为以下四个步骤创建一个新的爬虫项目明确想要抓取的目标制作爬虫开始爬取网页存储爬取内容（一般通过管道进行）新建项目明确目标创建spider存储数据

制作Spider定义一个容器保存要爬取的词条数据Scrapy提供了Item类用来表示实体数据

制作SpiderItem对象类似于词典(dictionary-like)的API用于声明可用字段的简单语法简单的容器，保存了爬取到得数据提供了：

制作Spideritem.py文件未修改前如下：修改后：

制作Spideritem.py文件未修改前如下：修改后：

制作Spider提取数据观察源码，定位目标数据。

制作Spider提取数据修改后的baidu.py内容如下：（这里希望在讲解每一行的时候有一条红色下划线指向该行）返回结果后就退出循环return返回的是生成器yield

制作Spider提取数据修改后的baidu.py内容如下：返回结果后就退出循环return返回的是生成器yield

制作Spider提取数据修改后的baidu.py内容如下：（这里希望在讲解每一行的时候有一条红色下划线指向该行）解析技术框架本身提供了一套机制来帮助用户获取信息Selectors

制作Spid