信息检索及其中的统计语义模型.pdfVIP

摘 要 文本信息检索技术是现代信息社会的基石，只有借助文本检索技术我们才 可能在互联网等浩大的信息资源中快速的找到对我们有用的信息。传统的文本 信息检索技术依赖词条的精确匹配来确定文档之间的相关性。然而，文本信息 检索技术的广泛应用与信息资源数据量的快速增长使我们需要更加“智能化” 的信息检索系统，能够学习文档和词条的 “语义”结构并应用到信息检索的任 务中去。具体地，在许多情况下我们希望在给定一些检索词时，系统不仅能够 检索到与检索词精确匹配的文档，而且还能检索到其它语义上高度相关的文档， 并将所有检索到的文档合理的排序。为了达到这个目标，许多相关技术试图在 文档集合中提取出文档的某种高层的隐变量表示, 然后根据这些隐变量表示来 确定文档之间的相关度。 在本论文中，我们介绍了信息检索系统的构成，总结了信息检索从传统检 索到智能检索的发展趋势。本文从理论上分别讨论了向量空间模型 VSM （Vector Space Model），隐含语义检索LSI （Latent Semantic Indexing ）和概率隐含语义 检索 pLSI （Probabilistic Latent Semantic Indexing ）三个检索模型，从几何投影 的观点对各个模型做出了直观的解释, 并从查全率和查准率两个方面对这三个 模型进行了比较。对 LSI ，本文指出了它的一个局限性，即得到的“主题”缺乏 可解释性；针对这个问题本文提出了一个改进的办法，利用对主成分系数的附 加的约束加强了可解释性。在 pLSI 中我们指出了一种新的查询表示方式，并通 过试验数据证明了这种表示方式的优越性。在文章的最后，我们对信息检索技 术最新的发展做了一个简单的介绍。 关键词：信息检索；向量空间模型；隐含语义检索模型；概率隐含语义检索模 型 Abstract Textual information retrieval techniques serve as the cornerstone of todays so called “Information Age”, without which one could not imagine how to locate the information he/she needs in the overwhelmingly huge repository of Internet. Traditional techniques rely on exact matching of terms in deciding similarity between documents. However, universal use of textual information retrieval techniques and rapidly growing scale of information repositories shed light on the need of “intelligent” systems that learn and make use of “semantic” structures of terms and documents in information retrieval tasks. Intuitively, its preferable in many situations that, given several query terms, not only documents with exactly (some of) these terms, but also documents with semantically highly correlated terms are retrieved, and all retrieved documents are prop