大数据分析：Python爬虫、数据清洗和数据可视化（第2版·微课视频版）课件 第三章—Scrapy爬虫.pptx

Python爬虫、数据清洗和数据可视化大数据分析大数据与人工智能技术丛书

了解Scrapy定义了解Scrapy框架的安装掌握Scrapy框架的工作流程掌握Scrapy框架的实现本章学习目标第三章Scrapy爬虫

3.1Scrapy爬虫概述互联网公开数据一般采用程序代码自动从目标网站获取，解析，然后存储在大数据平台供数据分析人员建立预测模型，同时大数据平台在业务系统进行展示。Scrapy可用于各种有用的应用程序，如数据挖掘，信息处理以及历史归档等，目前主要用于抓取web站点并从页面中提取结构化的数据。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。ScrapyScrapy是一个使用