《Python开发与实战》课件——C09-Pyspider爬虫框架的使用.pptx

Pyspider爬虫框架的使用

Pyspider的界面介绍Pyspider爬虫时间控制

Pyspider的界面介绍Part01

Pyspider的界面介绍功能：强大的网络爬虫系统，它带有强大的WebUI、脚本编辑器、任务监控器、项目管理以及结果处理器，它支持多种数据库后端、多种消息队列、JavaScript渲染页面的爬取。使用起来非常方便。

图01-011、Pyspider框架

Pyspider的界面介绍图01-02下图为Pyspider爬虫框架的主控制台：2、首页介绍

Pyspider的界面介绍运行状态：直接在每个项目的运行状态上点鼠标左键进行修改。五种状态介绍：TODO是新建项目后的默认状态，不会运行项目。STOP状态是停止状态，也不会运行。CHECKING状态是修改项目代码后自动变的状态。DEBUG是调试模式，遇到错误信息会停止继续运行。RUNNING是运行状态，遇到错误会自动尝试，如果还是错误会跳过错误的任务继续运行。3、操作按钮图01-03

Pyspider的界面介绍在第一栏中选项中，分别代表显示功能如下：rate/burst：rate:每秒执行多少个请求,burst:任务并发数，可以点击进行修改avgtime：任务平均时间progress：记录任务状态，按时间区分，会标示任务的创建数，成功数，失败数等值actions：对爬虫项目的一些操作Act