Scrapy框架简介及基础使用指南.pdfVIP

Scrapy框架课程介绍：

1.框架的简介和基础使用

2.持久化

3.和

4.日志等级和请求传参

5.CrawlSpider

6.基于redis的分布式爬虫

一．scrapy框架的简介和基础使用

a)概念：为了爬取数据而编写的一款应用框架，出名，强大。所谓的

框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。

（高性能的异步，解析，持久化……）

b)安装：

i.linuxmacos:pipinstallscrapy

ii.win:

1.pipinstallwheel

2.twisted：

pipinstall好的框架.whl

3.pipinstallpywin32

4.pipinstallscrapy

c)基础使用：使用流程

i.创建一个工程：scrapystartproject工程名称