基于Scrapy构建数据采集系统-资源 初识Scrapy 初识Scrapy.docxVIP

初识Scrapy 初识Scrapy 一、什么是爬虫 网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人. 一个网络爬虫的基本执行流程可以总结为: 下载页面：一个网页的内容本质上就是一个HTML文本,爬取一个网页内容之前,首先要根据网页的URL下载网页. 提取页面中的数据：HTML下载完成后,对页面中的内容进行分析,并提取出需要的数据,提取的数据可以以多种形式保存起来,CSV/JSON/数据库 提取页面中的链接：通常要获取的数据分布在多个页面中,这些页面彼此联系,一个页面中可能包含一个或多个到其他页面的链接,提取完当前页面中的数据后,还要把页面中的某些链接也提取出来,然后对链接页面进行爬取 二、什么是Scrapy Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy，是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy具有简单易用、灵活易拓展、开发社区活跃的特点，简单地说，Scrapy是一个爬虫框架，它能爬取网站的数据。