结合语义的位置语言模型-北京大学学报自然科学版.PDF

北京大学学报 ( 自然科学版), 第 49 卷 , 第 2 期 , 2013 年 3 月 Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 49, No. 2 (Mar. 2013) 结合语义的位置语言模型 1 1,† 1 2 余伟 王明文 万剑怡 左家莉 1. 江西师范大学计算机信息工程学院 , 南昌 330027; 2. 江西师范大学初等教育学院 , 南昌 330027; † 通信作者 , E-mail: mwwang@ 摘要 针对位置语言模型没有考虑词与词之间语义关系的问题, 提出一种结合语义的位置语言模型。首先采 用高斯核函数来度量词与词之间的位置关系 ; 然后提出一种平滑互信息的技术来度量词与词之间的语义关 系, 证明了平滑互信息能够有效解决大量词对之间无法通过互信息来计算转移概率的问题 ; 还证明了位置语 言模型是结合语义位置语言模型的一个特例; 最后将结合语义的位置语言模型应用于信息检索, 得到一个基 于该模型的检索模型。实验结果表明, 基于该模型的检索模型在性能方面要优于基于位置语言模型的检索 模型。 关键词 位置语言模型 ; 平滑 ; 互信息 ; 信息检索 ; 语义关系 中图分类号 TP391 Positional Language Models with Semantic Information 1 1,† 1 2 YU Wei , WANG Mingwen , WAN Jianyi , ZUO Jiali 1. School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330027; 2. School of Elementary Education, Jiangxi Normal University, Nanchang 330027; † Corresponding author, E-mail: mwwang@ Abstract Because positional language models did not consider semantic relationship between the words in different positions, the authors present an effective model named “positional language models with semantic information”. Firstly, the authors use Gaussian kernel function to measure the position relationship between words. Secondly, the authors present a technology which is named “smoothed mutual