《基于MLE的未知文本内容预测模型优化》.pdfVIP

第27卷第9期 荆楚理工学院学报 2012年9月 of of V01．27No．9 Journal UniversityTechnology Sep．2012 Jingchu 基于MLE的未知文本内容预测模型优化 疏国会1，金鑫2 (1安庆职业技术学院图文信息中心，安徽安庆246008；2安庆职业技术学院电子信息系，安徽安庆246008) [摘要】 未知文本内容预测是信息检索系统的重要功能，它通过文本化、分词、建模和预测四个步骤 实现。其基本语言模型采用基于最大似然估计(MLE)的概率分布方法，在实际应用中，该方法存在着效率和 有效性不足的问题，影响预测的精度。通过对传统方法的分析，发现传统模型中影响系统效率和有效性的主 要原因是未知词丢失、条件概率忽略以及合理未知词组零概率等问题，针对这些问题给出了引入未知词项、高 阶模型和平滑处理等优化策略，导出了优化模型，