文献异构检索中DeepWeb数据集成研究.pdfVIP

目录 4.2 基于DOM 树匹配的DEEP WEB 抽取算法实现 33 4.2.1 设计原理及目标33 4.2.2 系统设计结构33 4.2.3 抽取子系统工作流程34 4.2.4 自动抽取方法的实现35 4.3 基于LUCENE 的改进排序算法实现 37 4.3.1 整合流程38 4.3.2 改进的排序算法算法的实现38 4.4 相关平台对比 40 4.4.1 项目使用情况 40 4.4.1 检索性能对比40 4.4.2 综合对比41 4.5 系统运行部分截图 42 第五章 研究工作总结与展望43 5.1 本文研究工作总结 43 5.2 下一步工作展望 44 主要参考文献 45 摘要 摘 要 摘 要 摘摘 要要 科技文献检索是科研工作者不可或缺的一项重要工作。随着大量以 Deep Web 形式存在的数字资源不断涌现，科研工作者要获得全面、满意的文献信息， 需要将同一查询重复提交到多个Deep Web 文献检索站点，导致查询效率很低。 因此，应当出现更加有效的Deep Web 集成技术来解决当前文献异构检索中存在 的问题。 基于贵州省科技计划项目《科技文献异构数据库共享检索平台》(简称SIUS) 的关键技术研发，我们对文献异构检索中的Deep Web 集成技术展开了研究，取 得了可喜的成果，本文对研究方法和结果做一个总结和阐述。我们在研究中提出 一种Deep Web 数据集成机制，它结合了虚拟视图法和公共数据仓库法的优点， 能够满足检索中对实时性和高效性的要求。在此基础上，提出了两个算法，一个 是基于DOM 树匹配的Deep Web 自动抽取算法，它利用Deep Web 页面中数据 区域的特点，识别出数据区域，进而产生抽取规则；另一个主要算法是基于Lucene 的改进排序算法，该算法在Lucene 排序算法的基础上，再引入词频位置加权。 实验结果表明，这些方法在Deep Web 异构数据集成中能够取得了较好的效果。 SIUS SIUS 将文中提出的算法在 中实现， 是贵州省内唯一的异构数据检索平 台，该平台已通过验收并投入使用，迄今已有200 多家单位使用该平台资源，下 载各种科技文献50 多万篇，访问人数已达20 万人次，产生了较好的社会效益和 经济效益。 关键字： 关键字： Deep Web Lucene 关关键键字字：： ，信息抽取， 排序算法，文献检索，异构集成 I 摘要 ResearchonDeepWebDataintegrationinLiteratureRetrieval ResearchonDeepWebDataintegrationinLiteratureRetrieval RReesseeaarrcchhoonnDDeeeeppWWeebbDDaattaaiinntteeggrraattiioonniinnLLiitteerra