XQuery Web搜索系统的设计与实现.pdf

2 0 0 7牟 6月新疆石 油天然气X i n j i a n gO i l＆Ga sVoI ． 3No ． 2Ma y． 2 0 07文章编号： 1 6 7 3 —2 6 7 7 ( 2 0 0 7 ) 0 2 — - 0 0 9 4— 0 3X Q u e r yWe b搜索系统 的设计与实现李 越， 孙 彬， 王 东( 新疆石油学院， 新疆 乌鲁木齐8 3 0 0 0 0 )摘 要： 随着 We b技术的发展， 越来越多的信息需要通过 D e e pWe b来获取， 本文提出一种基于X P a t h的 We b搜索系统的设计方法， 它通过采集 U R L目标， 分析 目标 We b结构， 达到积累页面的 目的。关键词： D e e p We b ； X Q u e r y ； 爬虫； 搜索中图分类号 ： T P 3 9 3文献标识码 ： AD e e pWe b资源容量约为 S u r f a c eWe b的5 0 0倍， 而且包含 着更多有价值 的资源， 估计 达到7 5 0 0 T B， 都是面向公共访问的， 而不是需要付费或者订阅 1J 。传统的爬虫仅能爬行所谓的公共可索引的页面， 通过分析页面中“ 静态超链接” 来爬行，不能直接到查询数据库数据。1搜索逻辑构造X Q u e r yWe b搜索系统的关键性技术是构造“ We b 爬虫包装器” ， “ We b包装器” 虚拟响应来自客户端的表单查询请求， 使 目标 We b服务器端动态产生相应的“ 页面提交” 过程， 根据一定的搜索策略， 以 X ML或关系表的形式存储起来 ， 获得并保存页面内容。D e e pWe b爬虫性搜索系统的采集U R L目标集的设计方法可以概括为： 用 J a v a S c r i p t后台接收和分析多种导航特征的 We b ， 使用 X P a t h图构造技术、 X Q u e r y搜索技术和 X P a t h优化技术，使用“ 本体知识库” 来 自动积累和过滤相关的页面索引信息， 最终搜索到含有匹配结果的关键字页面集， 原理结构如图 1 所示。图 1D e e pWe b目标采集系统逻辑模型要从网页里提取信息， 就必须先分析网页的结 件中出现的先后次序决定。