Python基础与大数据应用第八章 Python爬虫框架.pptxVIP

第八章 Python爬虫框架北京西普阳光教育科技股份有限公司制作：商俊燕中国IT教育解决方案专家2018年10月010302常见爬虫框架Scrapy安装Scrapy爬虫框crapy常用工具命令Scrapy爬虫实战小结项目训练目 录 Contents01常见爬虫框架常见爬虫框架ScrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。01Crawley02Crawley能高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。Portia03Portia是一个用Python编写无需任何编程知识，就能可视化爬取网站数据的开源工具。Portia 是运行在Web浏览器中，Portia 提供了可视化的Web 页面，只需通过简单单击，标注页面上需提取的相应数据，即可完成爬取规则的开发，这些规则还可在Scrapy中使用，用于抓取页面。爬虫框架PySpider04PySpider是一个强大的网络爬虫系统，并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种