基于概率潜在语义分析的中文信息检索.pdfVIP

第34卷 第2期 计 算 机 工 程 2008年1月 Vb1．34 No．2 Computer Engineering January 2008 薤 痢技术· 文章编号：100l卜．3428(2008)02．_0199__03 文献标识码：A 中图分类号：TP18 基于概率潜在语义分析的中文信息检索 罗 景，涂新辉 (武汉科技大学计算机学院，武汉430065) 摘 耍：传统的信息检索模型把词看作孤立的单元，没有考虑自然语言中存在大量的同义词、多义词现象，对召回率和准确率有不利的影 响。概率潜在语义模型使用统计的方法建立 “文档一潜在语义一词”之间概率分布关系并利用这种关系进行检索。该文将概率潜在语义模型 用于中文信息检索，实验结果表明，概率潜在语义模型相对于传统的向量空间模型能够显著地提高检索的平均精度。 关健词：概率潜在语义分析；中文信息检索；索引技术；关键词抽取 Chinese Information Retrieval Basedhinese 1n n RetrmVal a 0n 0n Probabilistic Latent Semantic Analysis LUO Jing．TU Xin-hui (School of Computer Science，Wuhan University of Science and Technology,Wuhan 430065) [Abstract]In traditional information retrieval models，index word is regarded as independent unit．However，there are many synonyms and polyserny in natural language，and the existence of them deteriorate the recall and precision respectively．Probabilistic latent semantic analysis is a novel approach to automated document indexing which is based on a statistical latent class model for factor analysis of count data．This paper applies the approach to Chinese information retrieval task．Experimental results indicate that the model based on probabilistic latent semantic analysis hss a prominent higher effectiveness than vector space mode1． [Key words]probabilistic latent semantic analysis；Chinese information retrieval；index strategies；key phrase extraction l概述 难适应实际应用。 随着互联网络和计算机的不断普及，通过网络共享的信 针对潜在语义分析的这些缺陷，Hoffmann提出了一种 息资源以接近指数级的速度递增，其中大部分为文本信息。 新的方法一一概率潜在语义分析(Probabilistic Latent 为了从海量文本数据中查找所需要的信息，一个优秀的信息 Semantic Analysis，PLS