Python程序设计 14.爬虫实现-Scrapy.pdfVIP

爬虫实现-Scrapy 主讲：孙国元 华信培训 本章要点 • Scrapy入门 • Scrapy进阶 1 Scrapy入门 概述 • Scrapy是用python写的一个爬虫框架，当然如果只是写一些简单爬虫， python自己就有做爬虫的库，scrapy只是更加流水线化，各部分分工更加清 晰。 主要组件 • 引擎(Scrapy) • 用来处理整个系统的数据流, 触发事务(框架核心) • 调度器(Scheduler) • 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL （抓取网页的网址或者说是链接）的优先队列, 由它 来决定下一个要抓取的网址是什么, 同时去除重复的网址 • 下载器(Downloader) • 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在 twisted这个高效的异步模型上的) • 爬虫(Spiders) • 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也