基于XQuery的Deep Web搜索系统的设计与实现.pdf

1 6 7 1 — 1 8 1 9( 2 0 0 7 ) 1 6 — 4 0 8 0 — 0 5科 学 技 术 与 工 程Sc i e n c eTe c hn o l o g ya n dEn g i n e e r i ngVo 1 ． 7No ．1 6Aug ．2 0 0 7⑥ 2 0 0 7 S c i ．T e c h ． E n g n g ．基于 XQu e r y的 D e e pWe b搜索系统的设计与实现孙 彬 王 东 李 娟( 新疆财经大学计算机系 乌鲁木齐 8 3 0 0 1 2)摘 要 随着 We b技术的发展， 越来越多的信息需要通过D e e pWe b来获取， 爬虫搜索系统是完成 D e e pWe b搜索的重要技术手段。提出一种基于X P a t h的We b搜索系统的设计方法， 它通过采集U R L目标， 分析目标 U R L的 We b结构， 维护 U R L本体知识库， 达到深度积累页面的目的。关键词 D e e p We bX Q u e r y爬虫搜索中图法分类号 T P 3 9 1 ， 3 ；文献标识码 A据 B r i g h tP l a n e t 公司技术 白皮书 ( T h eD e e pWe bH i d d e nV a l u e ) 研究表明： D e e pWe b资源容量约为S u r f a c eWe b的5 0 0倍， 而且包含着更多有价值的资源， 估计达到 75 0 0T B， 都是面向公共访问的，不需要付费或者订阅 1J 。传统的爬虫仅能爬行所谓的公共可索引的页面， 通过分析页面中“ 静态超链接” 来爬行， 不能直接查询数据库数据。基于D e e pWe b搜索的目的， 分析网站覆盖度特征， 取覆盖度居中的5 0个站点， 对站点中没有搜索的“ U R L ”地址进行分析， 估算出5 0个站点一共损失了6 0多万 U R L信息源， 发现损失的主要原因是“ 动态页面” 、 “ 交叉链接” 和“ 无效链接” 等。1 搜索逻辑构造 D e e pWe b搜索系统的关键性技术是构造“ We b爬虫包装器”， “ We b包装器” 虚拟响应来 自客户端的表单查询请求， 使目标 We b服务器端动态产生相应的“ 页面提交” 过程， 根据一定的搜索策略， 以X ML或关系表的形式存储起来， 获得并保存页面内容。D e e pWe b爬虫性搜索系统的采集 U R L2 0 0 7年 4月 1 0日收到第一作者简介： 孙 彬 ， ( 1 9 7 O 一) 女， 新疆财经大学计算机系， 副