一种在线递增式语言模型自适应方法.pdfVIP

第六届全国人机语音通讯学术会议 中国 深119 一种在线递增式语言模型自适应方法 另那清. 才、盆趁绪、另戈A 清华大学计算机科学与技术系 智能技术与系统国家重点实验室语音技术中心 100084北京 [Wgq,fzheng,jinl]4sp.es.tsinghua.edu.cn 最大后验格率方法首先要有一个对整个模型所有 摘要 参数分布情况的先验估计函数，在来了新的观测数据 该文针对传统统计语言模型的离线自适应方法。提出 X后，根据先验的参数分布确定这些模型参数，并使 了一种在线实时的递增式自适应方法。该自适应方法 得在这些模型参数下产生该观洲结果的概率最大。这 需要解决几个问题。第一是耍设计一种语言模型结构 种方法能取得较好的结果[5], 以适应存线的自适应:第二是如何利用在线收集到的 而MDI方法的基本思想则是在满足从少量特定领 语料对语言模型进行实时的参数修改:在我们设计的 域新语料中归纳出来的限制条件的情况下，使得 目标 中文音转字平台中，将语言模型分成两个部分，分别 模型和原始模型尽可能的 “接近”。目前有一些方法 是通用模型和用户模型。对于通用模型，采用高效的 用于衡量原始通用模型和适应后特定领域模型之间 存储结构结合参数预取技术，提高了模型的速度:对 “接近”的程度，Kullback-Leibler距离是用的最多的 于用户模型，使用动态的加权方法结合MAP动态调整 方法之一。一般使用插值方法获得适应后模型，也有 参数。该文所做的实验证明使用该方法能较大程度的 人使用指数模型，并认为指数模型性能比插值模型要 降低中文音转字的错误率 好[61。但是指数模型需要进行参数重新归一，这个过 程相当耗费时间。 1.引言 以上的方法不管自适应的性能的好坏，都有一个 共同的特点。那就是这些方法都是在该特定领域是己 基于N一ram的统计语言模型是当前语音识别技术的 知的情况下，预先收集好该领域的适应语料，然后以 基石之一。但是N-gram模型要解决两个重大的问 离线的方式训练。但是，有时候预先能获得的语料非 题，即数据稀疏性 1【]和对训练语料的强依放性。一般 常之少，只有在应用时才能确定应用程序的使用领 来说.要训练的N-gram模型必须针对特定的应用系 域，比如说整句输入法，根本不可能预先知道该输入 统所在的领域搜集大量的语料，并使用有效的平滑算 法会应用到什么领域，这样适应用的语料只能是在使 法来解决数据稀疏性。然而，在开发实际的应用系统 用的过程中一句句的收集。因此，一个很自然的想法 时，针对该领域搜集大星的语料是一件费时费力的工 就是研究一种在线的、递增的语言模型自适应技术， 作，而且成本也很大。如果直接使用其他领域的语料 换句话说，采用一种逐句适应的技术。 训练而成的模型，则性能急剧下降。因此，在这种情 为了解决在线递增自适应的问肠，我们设计了一 况下，语言模型自适应显得尤为重要