WEB信息整合平台设计与实现-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘 摘 要 万方数据 万方数据 摘 要 随着 Internet 技术的高速发展，网络信息资源的快速增长，网络已成为人们获 取数据的重要来源。面对庞大的网络资源，搜索引擎为人们检索提供重要的技术 手段。然而，传统的搜索引擎是基于单词的检索，存在一定的局限性，如搜索结 果存在大量无关的网页、由于转载而造成信息内容雷同等。因此，极有必要对网 络信息资源进行整合，以帮助人们从海量网络资源中，提炼出人们所关心的特定 信息，并对数据重新整合与统一的展现。本文的主要研究工作就是整合 WEB 资源 信息，使互联网用户能够快速准确地搜寻到自己需要的信息。 首先，本文对 WEB 信息整合中的相关理论和技术研究，包括信息整合两种方 法、三大组成模块以及四种关键技术等。并在设计过程中对各模块涉及知识做全 面综述，包括本体概念、网络爬虫、信息抽取、资源描述框架等。 其次，本文设计并实现了一种 WEB 信息整合平台原型系统，该系统以本体为 指导。设计了系统总体结构框架模型，系统由 4 大模块组成：数据采集、信息抽 取、存储模型、前台呈现。提出了基于本体和搜索引擎聚焦网络爬虫，基于本体 的页面分析过滤算法，基于本体和 DOM 树路径的信息抽取规则，以及基于 RDF 的数据存储模型和基于 B/S 前台结果呈现等一系列设计方案。通过该信息整合平 台，用户可以设置需要整合的领域信息，系统能够检索并整合出互联网中相关领 域资源，并将结果以统一的、结构的、形象的展示给用户。该系统不需要对不同 数据源分别建立包装器，而是作用域整个互联网之上，能够融合互联网中多种异 构资源。 最后，本文还对 WEB 信息整合平台做了综合测试，包括爬虫的效率与抓取量 测试、数据抽取率测试等。测试证明系统能整合互联网中部分异质的数据源，但 也存在一些不足。 关键词：WEB，异质资源，信息抽取，本体，信息整合 I ABS ABSTRACT 万方数据 万方数据 万方数据 万方数据 ABSTRACT With the rapid development of Internet technology, and enrich of network information resources, the Internet has become a more important way for people to query and access to data. Faced with the huge network resources, the search engine provides an important contribution for people to information retrieval.However, traditional search engines are keyword-based retrieval. There are some limitations, such as the existence of a large number of irrelevant search results, the page may be reserved with same information content. Therefore, it is highly necessary to integrate of Internet Information resources to help people extract the specific information concerned about from the massive network resources, and re-integration the data with a unified show. The main research wo