《移动通信网络优化》课件——项目六 使用Scrapy框架实现某网站书籍信息爬取.pptxVIP

使用Scrapy框架实现某网站书籍信息爬取

目录01任务1创建爬取框架02任务2：Scrapy对接Selenium03任务3：使用Scrapy框架实现某网站书籍信息爬取

任务1：创建爬取框架

任务描述Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求，不必关心爬虫的流程，异常处理、任务调度等都会集成在框架中，我们只需要定制开发几个模块就可以轻松实现一个爬虫。本节任务就是要创建一个Scrapy项目。

任务目解Scrapy框架基本原理认识Scrapy框架核心组