干货_理解Python爬虫框架pyspider.pdfVIP

一、 pyspider 简介 pyspider 是 Binux 做的一个爬虫架构的开源化实现，主要功能有 ： 抓取、更新调度多站点的特定的页面 需要对页面进行结构化信息提取 灵活可扩展，稳定可监控 pyspider 以去重调度，队列抓取，异常处理，监控等功能作为框架，只需提供给抓取脚本，并保证 灵活性。最后加上 web 的编辑调试环境，以及 web 任务监控，即成为了这套框架。 pyspider 基础是：以 python 脚本驱动的抓取环模型