二零二三年 优质公开课python爬虫框架scrapy.pptxVIP

Python爬虫框架Scrapy 1.了解Python爬虫框架Scrapy的简介2.学习Python爬虫框架Scrapy的安装3.掌握Python爬虫框架Scrapy的实例 1、爬虫框架Scrapy的简介scrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。? Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scrapy原设计用来屏幕抓取,但它也可以用来访问API来提取数据： 1、爬虫框架Scrapy的简介scrapyScrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。 1、爬虫框架Scrapy的简介 2、Python爬虫框架Scrapy的安装安装Scrapy框架：这里如果直接pip3 install scrapy可能会出错。所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。安装pyOpenSSL：在官网下载wheel文件。安装Twisted：在官网下载wheel文件。安装PyWin32：在官网下载wheel文件。下载地址：/~gohlke/pythonlibs/配置环境变量：将scrapy所在目录添加到系统环境变量即可。最后安装scrapy，pip3 install scrapy 3、Python爬虫框架Scrapy的实例情境1新创建一个目录，按住shift-右键-在此处打开命令窗口:创建scrapy项目scrapy startproject tutorial即可创建一个tutorial文件夹文件夹目录如图： 3、Python爬虫框架Scrapy的实例情境2例如以爬取猫眼热映口碑榜为例子来了解一下:创建scrapy项目在spiders文件夹下创建一个maoyan.py文件，你也可以按住shift-右键-在此处打开命令窗口，输入：scrapy genspider 文件名 要爬取的网址。 3、Python爬虫框架Scrapy的实例情境3item是保存爬取数据的容器，使用的方法和字典差不多:定义Item我们打开items.py，之后我们想要提取的信息有：index(排名)、title(电影名)、star(主演)、releasetime(上映时间)、score(评分)于是我们将items.py文件修改成这样。 3、Python爬虫框架Scrapy的实例情境4再次打开spider来提取我们想要的信息:修改spider修改成这样： 3、Python爬虫框架Scrapy的实例情境5打开命令窗口，输入：scrapy crawl maoyan(项目的名字):运行 3、Python爬虫框架Scrapy的实例情境5如果我们想保存为csv、xml、json格式，可以直接使用命令：保存scrapy crawl maoyan -o maoyan.csvscrapy crawl maoyan -o maoyan.xmlscrapy crawl maoyan -o maoyan.json在该文件夹下，按住shift-右键-在此处打开命令窗口，输入： 1.Python爬虫框架Scrapy的简介2.Python爬虫框架Scrapy的安装3.Python爬虫框架Scrapy的实例 （1）创建scrapy项目 （2）定义Item （3）修改spider （4）运行,保存