全文索引技术在个人信息融合系统中的应用研究.pdfVIP

中国科技论文在线 全文索引技术在个人信息融合系统中的应用研究 何娟 北京邮电大学计算机学院，北京（100876 ） 摘 要：基于内容的全文检索技术广泛用于全文数据库中，为解决个人信息融合系统中大量 多源异构信息的快速检索问题，将 Oracle 全文索引技术运用于个人信息融合系统开发中。 首先介绍 Oracle 全文检索流程，然后将其运用于个人信息融合系统融合查询模块的实现中， 融合查询用户界面层采用 Swing 开发，应用业务层采用 Java 语言。 关键词：全文索引；全文检索；数据融合；Swing；C/S 中图分类号：TP391.3 1．引言 近年来，信息融合技术发展迅速，其目标就是将异构的分散在各专业系统中的关联信息 进行整合管理。个人信息是和人类生活密切相关的数据，包括乘坐航班的记录、邮政汇款、 通话记录等等，这些信息的数据量巨大且具有较高价值，因此对个人基本信息以及相关联的 行为信息实现快速检索特别是基于内容的全文检索技术已经成为个人信息融合系统实现的 关键技术之一。 全文索引技术是目前搜索引擎的关键技术。原理是先定义一个词库【1】，然后在文章 中查找每个词(term) 出现的频率和位置，把这样的频率和位置信息按照词库的顺序归纳，这 样就相当于对文件建立了一个以词库为目录的索引，这样查找某个词的时候就能很快的定位 到该词出现的位置。问题于亚洲文字因为没有空格作为断词标志，所以就很难判断一个词， 而且人们使用的词汇在不断的变化，而维护一个可扩展的词汇库的成本是很高的。解决出现 这样的问题使“分词”成为全文索引的关键技术。目前有两中基本的方法【2 】：1、二元法 它 把所有有可能的每两两汉字的组合看为一个词组，这样就没有维护词库的开销。2 、词库法 它 使使用词库中的词作为切分的标准，这样也出现了词库跟不上词汇发展的问题。目前全文索 引技术正走向人工智能化，也是发展的方向。 本文将 Oracle 全文索引技术运用于个人信息融合系统开发中，以解决系统中大量个人 信息的有效检索问题。首先介绍 Oracle 全文检索流程，然后将其运用在个人信息融合系统 开发中，着重索引的建立，索引的同步与优化，索引的删除等等。个人信息融合系统基于 C/S 结构，具有三个逻辑层，即用户层、业务层和数据层的设计模式。用户界面采用Swing 开发，应用业务层采用Java 语言，后台数据库采用Oracle 10g。在个人信息融合查询模块实 现了全文检索功能，方便了用户对个人信息融合系统中所有个人信息以及其关联的行为数据 进行查询。 2. Orcale 10g 全文检索流程 Oracle 一直致力于全文检索技术的研究，Oracle Text 使Oracle10g 具备了强大的文本检 索能力和智能化的文本管理能力。使用Oracle10g 和Oracle Text，可以方便而有效地利用标 准的 SQL 工具来构建基于文本的新的开发工具或对现有应用程序进行扩展。应用程序开发 人员可以在任何使用文本的Oracle 数据库应用程序中充分利用Oracle Text 搜索，应用范围 可以是现有应用程序中可搜索的注释字段，也可是实现涉及多种文档格式和复杂搜索标准的 大型文档管理系统【3 】。Oracle Text 支持Oracle 数据库所支持的大多数语言的基本全文搜 -1- 中国科技论文在线 索功能。下图展示了Oracle Text 的体系结构： 图1 Oracle Text 的体系架构 Oracle 全文检索的主要步骤如下【4 】：（1）数据存储逻辑搜索表的所有行，并读取列 中的数据。通常，这只是列数据，但有些数据存储使用列数据作为文档数据的指针。例如， URL_DATASTORE 将列数据作为 URL 使用。（2 ）过滤器提取文档数据并将其转换为文 本表示方式。存储二进制文档 (如 Word 或 Acrobat 文件) 时需要这样做。过滤器的输出 不必是纯文本格式 -- 它可以是 XML