信息安全工程与测评实践报告七.docVIP

信息安全工程与测评实践报告 （七） 实验名称 Scrapy框架的使用 姓 名 陈天宝 班 级学 号完成日期 2015年5月22日 实验目的： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 实验设备： 已经安装了Scrapy的PC一台 实验过程： 创建一个新的Scrapy项目： 在抓取之前，你需要新建一个Scrapy工程。进入一个你想用来保存代码的目录，然后执行以下命令：scrapy startproject tutorial 这个命令会在当前目录下创建一个新目录tutorial， 目录中的文件主要包括： scrapy.cfg: 项目配置文件 tutorial/: 项目python模块, 呆会代码将从这里导入 tutorial/items.py: 项目items文件 tutorial/pipelines.py: 项目管道文件 tutorial/settings.py: 项目配置文件 tutorial/spiders: 放置spider的目录扫描单一的一个主机： 定义提取的Item：Items是将要装载抓取的数据的容器，它工作方式像python里面的字典，但它提供更多的保护，比如对未定义的字段填充以防止拼写错误。它通过创建一个scrapy.item.Item类来声明，定义它的属性为scrpy.item.Field对象，就像是一个对象关系映射(ORM). 我们通过将需要的item模型化，来控制从dmoz.org获得的站点数据，比如我们要获得站点的名字，url和网站描述，我们定义这三种属性的域。代码： from scrapy.item import Item, Field class FotomenItem(Item): # define the fields for your item here like: # name = Field() title = Field() url = Field() image_urls = Field() 实现PipeLine：PipeLine用来对Spider返回的Item列表进行保存操作，可以写入到文件、或者数据库等。PipeLine只有一个需要实现的方法：process_item，例如我们将Item保存到一个文件中。想启用ImagePipeline的话，首先在settings.py中设置。代码： ITEM_PIPELINES = [scrapy.contrib.pipeline.images.ImagesPipeline] IMAGES_STORE = /Users/windwild/Code/project/fotomen/images/ 其中：ITEM_PIPELINES 字段是设置加载哪个的Pipeline的。IMAGES_STORE 字段是设置图片存放的路径的。 到现在，我们就完成了一个基本的爬虫的实现，可以输入下面的命令来启动这个爬虫工具: scrapy crawl dmoz.span style=color:blackorg/span 实验心得： Scrapy是一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。它提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy作为一个框架，任何人都可以根据需求方便的修改。