基于全局折扣的统计语言模型平滑技术.pdfVIP

2005 年 8 月 重庆大学学报（自然科学版） Aug. 2005 第 28 卷第 8 期 JournaI of Chongging University（NOturOI Science Edition） VoI. 28 No. 8 文章编号：1000 - 582X（2005）08 - 0051 - 05 基于全局折扣的统计语言模型平滑技术 ＊ 黄 永 文，何 中 市 （重庆大学 计算机学院，重庆 400030） 摘 要：数据平滑是用来解决统计语言模型在实际应用中遇到的数据稀疏问题. 现有平滑技术利用 不同的折扣和补偿策略来处理数据稀疏问题，在计算复杂性与合理性方面各有其优缺点. 针对二元模 型，笔者提出了一种基于全局折扣 GD（GIobaI Discount）的平滑技术，其基本思想是对模型中每个二元对 的频率值都进行不同程度的折扣，并用低阶模型对零概率事件进行补偿，通过极小化困惑度原则体现了 模型的合理性. 实验结果表明该平滑技术优于目前常用的 Katz 平滑技术. 关键词：统计语言模型；平滑技术；全局折扣；困惑度 中图分类号：Tp181 文献标识码：A 统计语言模型（ 以下简称模型）用于在对特定的 语料库进行统计和学习后，推测出自然语言的规律性. 已广泛应用于语音识别、手写识别、文字校对、机器翻 译等领域. 但由于训练模型的语料库规模有限、类型不 同，许多合理的搭配关系在语料库中有可能没有出现， 因此会造成模型中出现数据稀疏现象，即零概率（ 频 率）问题. 数据平滑技术就是用于解决该问题的一种 方法. 它对采用最大似然规则的概率估计的模型参数 （条件概率值）进行调整，从而消除模型参数为零的现 象. 现有的平滑技术对模型中的零概率问题都有各自 的解决方法［1 - 6］，不同的平滑技术对于模型中已出现 事件的折扣方法基本不同，性能较好的计算略显复杂 或计算简单的性能却不太好. 在对模型中数据进行了具体的分析后，笔者提出 了一种实现方法简单、实现原理易懂的全局折扣 GD （GIobaI Discount）平滑方法，即对已出现事件的概率值 进行折扣，对概率值高的二元对的折扣率高，对概率值 低的二元对的折扣率稍低，对零概率事件用低阶模型 的频率值进行补偿. 并通过极小化困惑度的方式推导 出该平滑技术中的系数值，从理论上保证了该平滑技 术的有效性. 最后将此平滑技术和目前使用很广泛的 Katz 平滑技术进行了比较，用实验方法验证了本方法 的有效性. 1 统计语言模型平滑原理及评价 笔者采用基于词的统计语言模型，即通过词汇的 概率分布来描述句子出现的概率的模型. 假设一个句 子 S 由词序列 w 1 w 2 ?w m 组成，则该句的出现概率为： p（S）= p（w 1 ）p（w 2 I w 1 ）?P（w m I w m-1 1 ）= ! m i = 1 p（w i I w i-1 1 ）， 其中 wi 1 表示词串 w 1 w 2 ?w i . p（w i I w i - 1 1 ）表示在词串 w i - 1 1 出现的情况下 w i 出现的概率，用最大似然原理进 行估计［4］： p（w i I w i-1 1 ）= c（wi 1 ） c（wi-1 1 ） ， 其中 c（wi 1 ）表示词汇序列 wi 1 在训练语料上出现的 次数. 若当前词出现的概率只与其前 I - 1 个词有关， 这种语言模型叫做 I 元模型（I-gram）. 若当前词出现 的概率只与前一个或两个词有关，则是常用的二元模 型（Bi-gram）或三元模型（ Tri-gram）. I-gram 模型中 I 值越大，对语言的理解能力就越强，但 I 值变大时，模 型的参数估计变得越困难，数据稀疏也就越严重，这就 会在很大程度上影响模型的应用，因此必须对模型进 行平滑处理. ＊ 收稿日期：2005 - 04 - 05 基金项目：国家自然科学基金资助项目 作者简介：黄永文（1970 - ），男，四川开江人，重庆大学硕士研究生，主要研究方向：自然语言处理. 平滑则是在训练集不可能完全包含所有知识的情 况下，对模型参数进行调整以产生更合理的频率分布 的技术. 在统计语言模型得到广泛应用的几十年中，平 滑技术也有长足发展，常见的有：加法平滑技术；Katz 平滑技术；Church-gaie 平滑技术；Jeiinek-mercer 平滑 技术以及多种基于以上方法改进的平滑技术. 在大训 练集上的 Bi-gram 模型上，Church-gaie 平滑技术具有 出众的性能. 而在小训练集上的 Bi-gram 模型上，Katz 的平滑技术最好［l，5］. 平滑后模型的性能是通过测试模型在测试集中的 困惑度来评价的. 困惑度（ perpiexity）代表了