文本检索宗述.pdfVIP

数字图书馆论坛IDigitalLibraryForum 豁夔翠，国到勿确} 本期话题:检索技术系列 文本检索综述 口王斌 / 中国科学院计算技术研完所 北京 100080 摘要:文本检索是最早也是最重要的信息检索形式。本文从基于文字、基于结构、基于用户信息几个方 面总结了信息检索中相关度计算的方法。对基于文字的信息检索，本文分别介绍了传统的布尔模型、向量空 间模型、概率模型和近年以来兴起的统计语言IR模型。文本检索和其他学科逐渐融合构成当今文本检索的发 展趋势，本文主要介绍自然语言处理、数据挖掘技术和文本检索的融合，并介绍了数字图书馆中的一些新的 文本检索应用 关键词:文本检索 检索模型 自然语言处理 数据挖掘 1引言 算方法.可以把文本检索分成基于文字的检索、基 于结构的检索和基于用户信息的检索。 文本是计算机上最早也是最常见的信息表现形 2.1基于文字的检索 式，以数字图书馆为例，大量的图书书目、内容、描 述都是以文本的方式来存储。因此，在信息检索研 基于文字的检索主要指根据文档的文字内容来 究中，文本检索最早并一直受到学术界的广泛关注。 计算查询和文档的相似度。这个过程通常包括查询 传统的信息检索通常是指文本检索。其他媒体信息 和文档的表示及相似度计算。查询和文档的表示及 的检索在很多方面都借鉴了文本检索的思想 所以， 相似度计算统称为检索模型 学术界最经典的有以 文本检索在信息检索研究中占据基础地位。 下几个检索模型: 文本检索是一项交叉学科 从大学科上来看， 2.1.1布尔模型 横跨了计算机、情报、数理统计等学科，从具体研 布尔模型中用户的查询表示为多个词组成的布 究方向上来说 包含了文本检索、自然语言处理、数 尔表达式，如查询 ’计‘算机 。nd文化”表示想查找 据挖掘、机器学习等技术。因此，要对文本检索进 包含 计“算机 “和 “文化 “的文档。文档被看成文 行全面的综述是一件非常困难的事情。基于这个原 中所有词组成的布尔表达式。进行相似度计算时， 因 本文只从几个方面对文本检索进行介绍，主要 布尔模型实际就是将用户提交的查询请求和每篇文 目标是希望读者能对文本检索的基本概念和技术有 档进行表达式匹配。基本布尔模型中满足查询的文 个基本的了解。本文组织安排如下 首先总结文本 档的相关度是1 不满足查询的文档的相关度是0a 检索的方法 然后分别介绍文本检索中用到的自然 布尔模型非常简单 也比较容易理解。但是，基本 语言技术和数据挖掘技术:最后介绍数字图书馆中 布尔模型有两个主要缺点。第一，因为只有0和1两 一些新的应用和重要方面。 种相关度，基本布尔模型并不能提供更细微的排名。 当相关文档的结果数目较多时，这些文档之间因无 2信息检索方法 法进行排序导致处理起来非常不方便。研究者们提 出了各种各样的方法r如根据命中查询词在文档出 传统的文本检索是围绕相关度(Relevance)这个概 现的次数和距离等等的。第二 如何构造布尔表达 念展开的。所谓的相关度迄今并没有标准的定义。 式来表达用户的需求并不是一件容