TRS中文文本信息检索技术的发展——从全文检索到基于自然语言处理的知识检索.pdfVIP

TRS中文文本信息检索技术的发展 一从全文检索到基于自然语言处理的知识检索 施水才肖诗斌王弘蔚王洪俊苏东庄 北京信息工程学院中文信息处理研究中心 摘要：本文介绍了TRS文本检索系统的主要技术特点，分析了搜索引擎技术的优点和不足， 提出了基于自然语言处理的文本检索技术，介绍了TRS自动分类、自动摘录和相似性检索 技术．所有这些技术都经过大数据量和开放环境的实际检验，有许多成功的案例． 一、中文文本信息检索技术的发展概况 国际上文本信息检索的发展始于1950年代111．文本检索也是目前多媒体内容的有效的 辅助检索手段。中文文本信息检索最早见于748工程中的汉字情报检索pI。80年代中期后， 由于计算机处理能力的大大提高和应用的普及化，中文文本信息检索的研究开始进入黄金 期，各种汉字文本索引方法、检索算法以及实用化系统开始出现，各种全文检索商用系统 的出现就是这个阶段的成果。经过lO多年的发展，中文文本全文检索技术已经完全成熟。 尽管文本信息检索技术已经相当成熟，但关于系统性能的评价一直是一个热门谋题， 美国技术和标准研究所主办的TREC文本检索会议I】1旨在建立一套评价文本检索技术和系 统的标准，TREC每年举办一次，并且从几年前开始加入了对中文文本的测试。我国有学者 多次呼吁建立C-TREC中文信息检索评测体系¨I．表明中文文本信息检索技术急需在科学评 测的基础上不断发展。 二、TRS全文检索技术的发展和实践 北京信息工程学院中文信息处理研究中心从1985年开始研究信息检索，从1994年开 1,0版本．经过多年的笈展改进，目前已经发展了4代 始推出了商品化全文检索系统TRS 产品．最新版本是4．5t”。下面我们从信息检索技术的几个关键要素介绍TRS全文检索系统 的技术特点。 2．1检索模型 信息检索模型很多，包括布尔模型、向量空间捡索模型、概率检索模型以及他{门的变 形I‘117I。成熟的全文本检索系统大多基于经典的布尔模型，以SMART为代表的向量空间模 型也体现出其实用性和较好的检索效果。在实际应用环境中．由于数据量巨大、数据动态 ——79—- 变化以及性能要求非常高，通常采用布尔检索模型，TRS也不例外。布尔检索模型有一些 广为人知的缺点。TRS检索系统的一些检索模型特征： (1)支持结构化数据(具备基本的关系模型)和非结构化数据(文本)的统一处理， 这是普通文本检索系统所没有的。 (2)完善支持XML和各种结构化文档ISl。 (3)支持逻辑检索、位置检索和加权检索。 2．2中文索引方法 TRS全文检索系统建立全文索引的基本步骤也是分词、停用词过滤、建立索引等。困 扰中文全文检索多年的问题之一就是到底采用什么单元作为基本索引单位。基本上有三种 索引策略：按单汉字、按词、非词典方式的N-Gram．他们的基本优缺点： 方法 查全率 查准率 检索速度 索引空间 按宇 好 差 海量数据慢 浪费 按词 较差 好 快 较小 N—GRAM较好 较差 快 严重浪费 TRS的长期实践得出如下的结论： ·按宇捡索对海量数据库不合适。数据库规模越太．查询性能会指数级下降．在5G以 内的数据库上最好的性能为1．5秒(根据检索的复杂性不同)，但当数据库规模达几十 G以上，则实用性相当差。 ·信息检索用自动分词和自然语言理解用的自动分词在词的定义和收集范围方面有很 大不同．依据语义规则和上下文语境来提高分词准确率对信息检索的贡献不大．而且 在某些情况下，产生负作用(如查询需求的自然语言描述缺少上下文)。 ·N．gram方法产生的冗余很大．并且没有词典、知识的支持，查准率比较差。 ·从捡索性能和检索效果来衡量，词索引+B【．GRAM为晟佳中文文本索引方式，这和 其他研究