基于位置语言模型的中文信息检索系统的研究.pdf

第 42卷 第 7期 计 算 机 科 学 Vo1．42NO．7 2015年 7月 Computer Science July2015 基于位置语言模型的中文信息检索系统的研究 陈雅兰 胡小华 涂新辉 何婷婷 (华 中师范大学计算机学院 武汉430079) (德雷塞尔大学信息科学与技术学院 费城 19082)。 摘 要 在大多数现有的检索模型中常常忽略了如下事实：一个文档中匹配到的查询词项的近邻性和打分时所基于 的段落检索也可以被用来促进文档的打分。受此启发，提 出了基于位置语言模型的中文信息检索系统，首先通过定义 位置传播数的概念，为每个位置单独地建立语言模型；然后通过引入 KL-divergence检索模型，并结合位置语言模型给 每个位置单独打分；最后由多参数打分策略得到文档的最终得分。实验 中还重点比较 了基于词表和基于二元两种中 文索引方法在位置语言模型中的检索效果。在标准NTCIR5、NTCIR6测试集上的实验结果表明，该检索方法在两种 索引方式上都显著改善了中文检索系统的性能，并且优于向量空间模型、BM25概率模型、统计语言模型。 关键词 位置语言模型，近邻性，段落检索，传播数 中图法分类号 TP391 文献标识码 A DO1 10．11896／j．issn．1002—137X 2015．7．057 PositionalLanguageModel_basedChineseIR System CHEN Ya-lan HU Xiao-hua’。 TU Xin-hui HE Ting-ting (SchoolofComputerScience，CentralChinaNormalUniversity，Wuhan430079，China) (CollegeofInfomr ationScienceandTechnology，DrexelUniversity，Philadelphia19082，USA) Abstract Inmostexistingretrievalmodels，thefactsareoftenoverlookedthattheproximityofmatchedquerytermsin adocumentandpassageretrievalusedtoscorecanalsobeexploitedtopromotescoringofrdocuments．Inspiredbythis， aChineseinformationretrievalsystem basedon thepositional1anguagemode1wasproposed．Firstly。wedefinedthe conceptofpropagatedcounttoestablishapositionallanguagemodelforeachposition．ThenthroughcombingKL-diver— genceretrievalmodelandpositionallanguagemodel，wescoredforeachindividualpo sition．Finally，wescoredthedocu— mentbythemulti—parameterstrategy．TheexperimentalsofocusesoncomparingtheretrievaleffectofthetwoChinese indexingapproachesnamedmulticharacter—basedanddictionary-basedonpositionallanguagemodels．Experimentson standardNTCIR5，NTCIR6testsetsshow thattheperformanceofthetwoindexingapproachesofIR system improves greatlyanditperfomr