原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
单元4数据采集与清洗
Scrapy网页数据采集
教学目标
（1）了解Scrapy框架的相关知识；
（2）熟悉Scrapy项目的组成；
（3）掌握Scrapy框架配置及使用；
（4）具有实现网页数据清洗的能力。
重点、难点
（1）了解Scrapy框架的相关知识；
（2）熟悉Scrapy数据清洗的方法。
Scrapy简介及安装
Scrapy简介
Scrapy是一个为了实现爬取网站数据，提取结构
性数据而设计Python应用框架。
其最初是为了页面抓取所设计的，随着Scrapy使
用的频繁，其也可以应用在数据挖掘、信息处理或存
储历史数据等一系列的程序中。
Scrapy使用了Twisted异步网络库来处理网络通讯，
架构清晰，模块之间的耦合程度低，可扩展性强，并
且在使用时只需定制开发几个模块即可轻松实现一个
爬虫。
Scrapy简介及安装
Scrapy项目结构
每种语言的项目都有其特定的项目结构，与大多数框架一样，Scrapy同样有着自已的结构，
并且结构较为简单，可以分为三个部分：项目的整体配置文件、项目设置文件、爬虫代码编写文
件。Scrapy的项目结构如下：
Scrapy使用
操作命令
在进行爬虫时的一些操作并不能通过内部文件的代码编写或配置实现，还需要依靠外部的一些命令
才能实现，如：项目的创建、运行等操作，Scrapy框架中包含的操作命令可以分为两种：
一种是全局命令，不管在不在Scrapy项目中都可以使用
命令描述
-h查看可用命令的列表另一种是项目命令，主要使用在项目中，在项目
fetch使用Scrapydownloader提取的URL
runspider未创建项目的情况下，运行一个编写好的spider模块外进行使用则无效
settings规定项目的设定值
shell给定URL的一个交互式模块
命令描述
startproject用于创建项目
crawl用来使用爬虫抓取数据，运行项目
version显示Scrapy版本
check检查项目并由crawl命令返回
view使用Scrapydownloader提取URL并显示在浏览器中的
list显示本项目中可用爬虫（spider）的列表
内容
edit可以通过编辑器编辑爬虫
genspider使用内置模板在spiders文件下创建一个爬虫文件
parse通过爬虫分析给定的URL
bench测试scrapy在硬件上运行的效率
Scrapy使用
自定义字段
项目创建成功后
文档评论（0）