基于虚拟化技术优化深层网络聚焦爬虫数据源发现方法 (修复).docxVIP

基于虚拟化技术对Deep Web聚焦爬虫数据源发现模型的优化辛洁，崔志明，赵鹏鹏，张广铭，鲜学丰, 和天旭(苏州大学 智能信息处理及应用研究所，江苏 苏州 215006)摘 要：为了提高聚焦爬虫发现和搜集深层网络数据源的能力，提出一种利用虚拟化技术改进Deep Web爬虫框架结构的方法。通过服务器虚拟化将一台服务器虚拟为解析下载服务器，聚焦爬行服务器和表单分类服务器，并根据各自的功能分配带宽及服务器资源，实验结果显示该方法可以有效提高Deep Web爬虫抓取数据源的效率，避免网络和硬件资源的浪费，证明了虚拟化技术的应用可以优化Deep Web爬虫的爬行能力。关键词：数据源发现；虚拟化技术； Deep Web；聚焦爬虫中图分类号：TP393 文献标识码：A The Optimization of Deep Web Focused Crawlers Data Source Discovery Model Based on Virtualization Technology XIN Jie, CUI Zhi-ming, ZHAO Peng-peng, ZHANG Guang-ming, XIAN Xue-feng, HE Tian-xu(The Institute of Intelligent Information Processing and Application, Soochow University, Suzhou 215006, China)Abstract: In order to improve the focused crawlers’ performance of Deep Web data sources discovery and search, a new method was raised to modify the architecture of Deep Web focused crawlers. Three servers were established after Server Virtualization named Download and Resolve Server, Focused Crawling Server and Interface Classification Server and given bandwidth and hardware recourses according to their functional needs. Experiment results indicated that this method could increase the crawling efficiency and avoided recourses waste. Therefore, applying virtualization technology is viable and useful for Deep Web focused crawlers in finding the interfaces of data sources. Key words: data source discovery; virtualization technology; Deep Web; focused crawlers1 引言基金项目：国家自然科学基金资助项目Foundation Items: National Natural Science Foundation of China ; 网络技术的飞速发展，海量数据使Web迅速的“深化”，这些由后台数据库动态产生的，对用户隐藏不可见的数据不能被传统的搜索引擎索引，只能通过表单提交查询来获得。如何从Deep Web中迅速有效的抽取信息，对数据源进行大规模的集成成为研究热点，其中包括数据源发现，查询接口抽取，数据源分类，查询转换，结果合成等，而Deep Web 数据源发现是信息集成的第一步。大多关于Deep Web数据源的搜索和发现的研究将重点放在改进对内部结构如已有的爬虫爬行策略，增加功能模块来避免下载不必要的页面从而提高Deep Web入口发现的效率和精度等方面。但在实际应用中，由于不可避免的大规模数据的下载及信息的交互，因此网络负载量，服务器的处理能力，资源调度等外在条件很大程度上制约了爬虫发现数据源入口的能力。虚拟化技术作为云计算实现的关键技术，越来越受到产业界和学术界的关注。其优点是可以将有限的固定的资源根据不同需求进行重新规划以达到最大利用率。本文利用服务器虚拟化改进了Deep Web聚焦爬虫数据源的模型，将一台服务器虚拟为解析下载服务器，聚焦爬行服务器和表单分类服务器等3台服务器，并依据其