基于语义的DeepWeb数据源自动发现技术.pdf

收稿日期:2 0 0 7 - 0 6 - 1 8 基金项目:国家自然科学基金项目( 6 0 6 7 3 0 9 2 ) 2 0 0 5年度教育部科研重点项目( 2 0 5 0 5 9 ) 教育部高校博士学科点科研基金( 2 0 0 4 0 2 8 5 0 1 6 ) 江苏省高技术研究计划项目( B G 2 0 0 5 0 1 9 ) 1 引言 We b可分为“ 表层网” ( S u r f a c eWe b ) 和“ 深层 网” ( D e e pWe b ) 。I n t e r n e t 上有大量页面是由后台数 据库动态产生, 这部分信息不能直接通过静态链接 获取, 只能通过填写表单( F o r m )提交查询来获取, 由于传统的网络爬虫( C r a w l e r ) 不具有填写表单的 能力, 爬不出这些页面。因此, 现有的搜索引擎搜索 不出这部分页面信息, 从而导致这部分信息对用户 是隐藏的、 不可见的, 我们称之为 D e e pWe b ( 又称 I n v i s i b l eWe b , H i d d e nWe b ) 。D e e pWe b是一个与 S u r f a c eWe b相 对 应 的 概 念 , 最 初 由 D r .J i l l E l l s w o r t h于 1 9 9 4年提出[ 1 ] , 指那些由普通搜索引擎 难以发现其信息内容的 We b页面。D e e pWe b信息 量大、 主题专一, 而且信息质量好[ 2 ] , 为了方便用户 快捷高效的使用 D e e pWe b信息, 迫切需要对 D e e p We b数据源的发现进行研究。 获取 D e e pWe b信息的第一步就是要发现 I n t e r n e t 上的 D e e pWe b数据源。D e e pWe b是在不 断动态变化的—— —不断的有新数据源产生, 同时也 有一些数据源消失或者被修改, 所以能够自动发现 和搜集可查询接口是非常重要的。然而, 由于 We b 上含有查询接口的页面比例是很小的, 利用传统的 宽度优先策略和关键词过滤方法[ 3 ] 进行爬行, 需要 更多对网页中表单进行发现、探测查询( p r o b i n g q u e r y ) 和分析, 就会下载大量无关的页面, 耗费大量 的资源, 所以我们需要一种能够高效地发现和搜集 D e e pWe b数据源的爬行策略。查询接口作为 D e e p We b后台数据库的唯一入口, 因此如何判定哪些网 页表单是查询接口对 D e e pWe b信息获取至关重 要。本文利用通用语言学本体和领域本体来表示概