基于Scrapy工业漏洞爬虫设计.docVIP

基于Scrapy工业漏洞爬虫设计 　　【 摘 要 】 工业控制系统的漏洞是工业安全中极其重要的资源信息，也是对工控系统进行威胁分析和安全等级鉴定的重要依据。论文设计实现了一个基于Scrapy的工业漏洞网络爬虫，能对工控系统安全漏洞网站上的漏洞信息进行抓取和分析，并进行结构化处理，为实际项目开发提供重要的漏洞数据信息。 　　【 关键词 】 工业控制系统；工控漏洞；爬虫；Scrapy 　　Design of Industrial Vulnerabilities Web Crawler Based on Scrapy 　　Sun Xin 1 Dai Hua 1 Kong Xiao-yun 2 Zhao Ming-ming 3 　　（1.Electric Power Research Institute of State Grid Zhejiang Electric Power Company ZhejiangHangzhou 310014； 　　2.State Grid Zhejiang Electric Power Company ZhejiangHangzhou 310008； 　　3. Beijing China-power Information Technology Co.， Ltd. Beijing 100192） 　　【 Abstract 】 Industrial control system vulnerabilities are extremely resource information of industrial activities on industrial safety， and they are also an important basis for the threat analysis and safety identification of industrial control system. This paper designed and implemented a web crawler for industrial vulnerabilities that based scrapy framework. The crawler can crawl and analyze vulnerability information on web sites， and provide structured vulnerability imformation for actual projects. 　　【 Keywords 】 industrial control system；industrial vulnerabilities；web crawler；scrapy 　　1 引言 　　互联网信息资源的极速增长使得基于传统搜索引擎获取信息的方式越来越难以满足人们对有效信息的获取要求。而当所需的信息体量大时，采用纯人工采集数据信息更是无法满足生产需求。针对这样的情况，使用某种自动化技术实现从互联网上自动采集符合需求的结构化信息是非常有必要的。 　　网络爬虫是一种能够实现对互联网信息资源进行自动采集整理的程序，它弥补了人工采集的缺陷。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，采集定制网站下的特定信息，如商品信息，漏洞信息等。 　　2 网络爬虫 　　2.1 爬虫概述 　　网络爬虫[1] （Web Crawler）通常又被称为网络蜘蛛（Web Spider），是一个能够自动在互联网上漫游并可以自动下载网页进行信息结构化提取的程序或者脚本。网络爬虫的特征鲜明[2]，主要体现在三个方面。 　　（1）强壮性好，网络爬虫的程序具备超强的执行力。 　　（2）智能性好，主要体现在获取和分析Web页面以及利用URL链接进行爬行等方面。 　　（3）能够将Web信息进行过滤存储等。 　　网络爬虫按照系统结构及其实现技术，大致可分成四种[3]类型：通用网络爬?x[4]（General Purpose Web Crawler）、聚焦网络爬虫[5]（Focused Web Crawler）、增量式网络爬虫[6]（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。实际应用过程中爬虫系统通常是由几种爬虫技术相结合实现的。 　　2.2 Python与爬虫 　　当前主流的编程语言都有自己的爬虫框架，如Java有Nutch、C++有Larbin，Python有Scrapy等。由于本文设计的爬虫是基于Python语言的，所以在这里主要讨论运用Python语言来设计实现爬虫系统。 　　2.2.1 Urllib与爬虫 　　U