统计语言模型中一些问题的思考研究.pdfVIP

统计语言模型中一些问题的思考膏 苑春法 清华大学计算机系，北京，100084 “智能技术与系统”国家重点实验室 cfvuan@tsinghua-edu．cn 摘要：数据稀疏是统计语言学研究中一个永久的话题。如何解决数据稀疏问题?如何使数 据不稀疏?一直是大家所关心的问题。本文仅仅从模型和数据的角度提出了一些问题，提出 了一些想法。以抛砖引玉，促进这方面的研究。 关键词：统计语言模型；数据稀疏，o支持向量机 1．引言 随着计算机技术的蓬勃发展，统计语言学(或语料库语言学异军突起，成了计算语言 学研究的热点。它的关键技术是机器学习，用计算机自动学习语言学家标注的范例(又称熟 语料库)。机器学习成败的关键是统计语言模型。有关统计语言模型的一些问题的探讨，对 提高机器学习的精度具有重要的应用意义。 一般常用的统计语言模型是马尔可夫模型，形式为， l) i