基于最优查询多领域deep Web爬虫.docVIP

基于最优查询多领域deep Web爬虫 　　摘 要:Deep Web信息通过在网页搜索接口提交查询词获得。通用搜索引擎使用超链接爬取网页,无法索引deep Web数据。为解决此问题,介绍一种基于最优查询的deep Web爬虫,通过从聚类网页中生成最优查询,自动提交查询,最后索引查询结果。实验表明系统能自动、高效地完成多领域deep Web数据爬取。 　　关键词:deep Web; deep Web爬虫; 最优查询; 页面聚类 　　中图分类号:TP393文献标志码:A 　　文章编号:1001-3695(2009)09-3375-03 　　doi:10.3969/j.issn.1001-3695.2009.09.049 　　 　　Multi-domain deep Web crawler based on most efficient queries 　　FENG Ming-yuan, LIN Huai-zhong 　　(College of Computer Science Technology, Zhejiang University, Hangzhou 310027, China ) 　　Abstract: Deep Web information can only be obtained through queries submitted to search forms in pages. While traditional hyperlinks based search engines were hard to index the deep Web data. To address this problem, proposed a most efficient queries based on deep Web crawler. It generated the most efficient queries through clustered Web pages, submitted the queries, and indexed the returned results. Experiment shows it can crawl data automatically and efficiently from multi-domain deep Web. 　　Key words:deep Web; deep Web crawler; most efficient queries; page cluster 　　 　　0 引言 　　 　　随着互联网的发展,网络中出现了越来越多的网络数据库。与传统的非结构化网页信息相比,结构化的网络数据库提供了更高质量的数据,支持更丰富的网络应用。通常称由网络数据库提供的信息为deep Web信息,以区别于那些通过网页链接获取的静态网页信息,即surface Web信息。 　　据文献[1]显示,截至2005年,互联网上已经有超过百万个deep Web网站,deep Web信息量是surface Web信息量的500倍[2],越来越多的研究者将目光投向了这一领域[2,3]。Deep Web数据往往隐藏在网页搜索框之后,这使得基于超链接的通用搜索引擎无法索引到其中数据,用户只有向具有查询表单的网页提交查询,才能访问其中的数据[1]。 　　对于deep Web数据的获取,主要有两种方式:a)通过deep Web数据库的接口集成,提供统一的查询接口,把各个网络数据库的返回结果通过模式变换汇集到全局模式下,典型应用如文献[3];b)数据仓库法,即通过deep Web爬虫提交查询,从返回的结果中提取所需要的数据,存储到统一的存储中心。这样的工作模式可以被描述为查询―获取―存储模式,典型应用如文献[4]。 　　该系统采用提交查询、提取并存储信息的方式获取deep Web数据。其主要创新点是通过聚类方式获取数据库查询的最优查询词,以较少次的数据库查询获得尽可能高的数据覆盖率。与传统的deep Web爬虫相比,它具有适用领域广、爬取效率高、信息覆盖率高等优势。 　　 　　1 系统总体结构 　　 　　传统的采用数据仓库方式的数据集成系统中,将各数据源的所有数据集成到数据中心,提供尽可能完整的集成。在网络环境下的deep Web数据集成出现了一些新情况[5]。由于网络数据库规模庞大,且各数据源的差异巨大,笔者认为集成更多数据源以及更有价值的数据比穷尽单个数据源所有数据更有意义。在这样的思想指导下,通过设计最优查询词,高效地爬取deep Web数据库中的数据。系统总体架构如图1所示。 　　系统主要由三个功能模块组成: 　　a)页面爬取及预处理模块。链接容器内存