N—gram语言模型的数据平滑技术.pdfVIP

维普资讯 @ 笫7期 徐志明等：N-譬ram语言模型的数据平滑技术 37 3H N—gram语言模型的数据平滑技术 (哈尔滨工业大学计算机系 1 (f ．弓 关 毅 (哈 业大 机系 150001) 摘 要 本文主要描连 了N am统计语言模型的几种主要 的数据平滑技术，并对各种数据平滑方法进 萎关键词Nmgr·am葛卷±墨语言模型{=，：练壶性能一!q1q镬；{练集 N．奄 晰j茜、：i；u 1 引言 虽然数据平滑技术是语言建模的核心技术，但文 统计语 言模型已经广泛地应用于语音识别、印刷 献 中缺乏许多现有的平滑技术之间的明确对比。以往 体文字识别、手写体文字识别和文字校对等领域 中。 的研究 ada．％ l984：Kate，l987；Church和Gale 1991； 统计语言模型通过描述语言的句子的概率分布，它反 Mackay和Peto，l995)只对在固定规模 的语料厍上的极 映了句子的出现概率 到 目前为止，最流行的统计语 少的平增方法进行l 了比较 。困此，目前研究人员很难 言模型是Ngmm语言模型。本文将~Bigram为例 ，介 从众多的数据平滑技术中选择适合 自己的方法。 绍N．gram语言模型的数据平滑方法。首先，假设一个 本文对 目前的使用最广泛 的平滑技术进行 了比 句子S由一个诃序列组成，W]W2 可以表示句子S的 较 其中包括Jelinek-Merc i9s0)的方法I_l，Katz(i987) 出现概率为： ； 1(I1 3I1 ) ．W1．1) 的方法 【 Church-Gale的方法lJ 数据平滑技术 的 性能极大地依赖于训练数据的规模和N．gram的阶数 几P(1wlw~ 】) 捌如，在大训练集上的／3igram模型上．Cburch-Gale的 在Bigram模型中，假_垃当前词的出现概率仅 与前 平滑技术具有出众的性能 而在小训练集上的Bigram 一 个词有关 ，句子的概率可以表示为： 模型上 ，Kntz的平滑技术最好 对于模型参数调整问 题，通常采用 自动搜索技术发现参数最优值 ．而且该 ，( 兀，(w1w w)兀p(w． t) 最优值比次优值对模型的性能上有明显的差异。 为了估计 l-1)，通常采用最大似然规则进行 另外，本文介绍 了StanleyFChen提出的两种新的 平滑技术 第一种属于Jelinek-Mercer描述的平滑技 估计： f．I) 兰 生L L (w¨) 术 第二种是一种简单的插值技术。这些方法在Bigam 模型上性能较好，在Tfi~am模型上性能目前最优 其中c(w )表示二元对 ．】 在训练语料上 出现 采用了数据平滑技术的语言模型的质量可以通过 次数 。 计算测试集上的交叉熵 (cross-entropv)~ 评价标准 对于n2~N—gram模型，句子概率 的计算通过下 式：P(垆兀P( )