《Python程序设计基础》 课件第9章实战项目之 Scrapy 框架.pptx

第9章

实战项目之Scrapy框架创建Scrapy工程网页内容解析Items和Spider组件Pipeline组件

目录网页内容解析9.29.1创建Scrapy工程9.3Items和Spider组件Pipeline组件9.4

知识架构创建Scrapy工程1Scrapy安装与配置2创建Scrapy工程3Scrapy实践经验4学生实践练习

知识架构网页内容解析1常用网页解析工具介绍3使用XPath表达式解析网页5学生实践练习4使用CSS表达式解析网页2Scrapy选择器

知识架构Items和Spider组件1Items组件2Spider组3学生实践练习

知识架构Pipeline组件3Spider中间件4学生实践练习Pipeline组件介绍12下载器中间件

9.1创建Scrapy工程1Scrapy安装与配置需要单击“File”→“Setting”菜单打开设置界面。在设置界面下左侧选择“Project:工程名称”菜单下的“ProjectInterpreter”选项。在该界面搜索框中搜索“scrapy”，然后单击“InstallPackage”按钮进行安装。安装成功后出现绿色框并在框中提示“Package‘Scrapy’installedsuccessfully”。1．使用PyCharm工具安装

9.1创建Scrapy工程1Scrapy安装与配置需要将Python安装目录下的Scripts目录，添加到Path环境变量中，打开命令行工具，执行“pipinstallscrapy”命令。2．通过pip命令安装

9.1创建Scrapy工程2创建Scrapy工程使用命令创建，需要将Python安装目录下的Scripts目录添加到Path环境变量中。在Windows系统中搜索“cmd”，将搜索出命令提示符工具。打开该命令行工具，通过“cd目录”进入新建工程的所在目录，然后使用“scrapystartprojectmovie”创建Scrapy工程。以豆瓣网上影视板块中爬取某部电影名称和评分为例（1）使用命令创建Scrapy项目工程

9.1创建Scrapy工程2创建Scrapy工程工程中包含的文件介绍如下。①scrapy.cfg：项目的配置文件。②movie/：该项目的Python模块，之后将在此加入代码。③movie/items.py：项目中的Item文件。④movie/pipelines.py：项目中的pipelines文件。⑤movie/settings.py：项目的设置文件。⑥movie/spiders/：放置Spider代码的目录以豆瓣网上影视板块中爬取某部电影名称和评分为例（2）工程目录结构介绍

9.1创建Scrapy工程2创建Scrapy工程importscrapy#定义MovieItem类继承Scrapy模块下的Item类classMovieItem(scrapy.Item):name=scrapy.Field()#电影名称score=scrapy.Field()#评分以豆瓣网上影视板块中爬取某部电影名称和评分为例（3）编写项目中的Item文件，在movie/items.py文件中编写如下代码

9.1创建Scrapy工程

2创建Scrapy工程importscrapyfrommovie.itemsimportMovieItem#导入items.py文件中的MovieItem类fromscrapy.selectorimportSelector#导入选择器