半連续HMM码本生成算法的研究.docVIP

人工智能及识别技术 文章编号： 文献标识码： 中图分类号：TN912.34 半连续HMM码本生成算法的研究 李军，朱小燕，王东 （清华大学智能技术与系统国家重点实验室，北京 100084） 摘 要：本文对基于半连续隐马尔科夫模型(SCHMM)语音识别系统的码本生成算法及其原理进行了探讨。阐述了译码器扰动简化随机松弛聚类算法(SR-D)，并将其应用到初始码本生成中。实验结果表明这种方法能显著地提高系统性能。初始码本生成后，采用最大似然准则对生成的码本进行了训练，使得码本和SCHMM其它参数达到较好的一致。本文也探讨了码本大小及其对最终性能的影响并给出了相关实验结果。 关键词：SCHMM，聚类，码本，随机松弛 The Research of Codebook Generation Algorithm in SCHMM Li Jun ,Zhu Xiaoyan ,Wang Dong (State Key lab of Intelligent Technology and System, Tsinghua University, Beijing 100084) 【Abstract】 This paper discussed the algorithms of codebook generation in SCHMM based speech recognition system and their fundamental principle. Introducing the basic discipline of Stochastic Relaxation- Division (SR-D) algorithm, we introduced the general idea into our initial codebook generation algorithm. The experiment results show that our new method significantly improves the system performance. With the modified initial codebook, the model is further trained with the criterion of Maximum Likelihood(ML),which leads the codebook and other parameters more consistent and compatible。The effect of codebook size to final performance is also discussed and relative experiment results are presented. 【Key words】 SCHMM, clustering, codebook, Stochastic relaxation SCHMM作为一种有效的语音识别技术，是离散隐马尔科夫模型（DHMM）和连续隐马尔科夫模型（CHMM）的一种折衷方案。它既克服了DHMM识别精度较低的缺点,又降低了CHMM计算的复杂性，因而是一种相当好的语音识别技术。SCHMM之所以能做到这一点，主要是因为SCHMM使用了一组特殊的码本。这组码本由所有模型和所有状态共享。它相当于连接DHMM和CHMM的桥，是决定整个SCHMM系统性能的关键因素之一。 码本在SCHMM中的重要性集中反映在码本的初值和数量上。好的初值能够总体上接近各模型的质心，因而在调整码本过程中收敛较快并且容易达到或接近全局最优，相反，如果某个模型附近没有码本，它在调整码本过程中对整个码本调整趋势的影响力降低以至于码本更加远离它，自然地，码本对这个模型的刻画精度就低；如果某个码本附近没有模型，那么所有模型对该码本的权重都较小以至于区别不大，这种情况造成的结果是该码本的方差迅速减小，均值变化不大，它对整个模型的刻画能力大大降低，从而成为垃圾码本。因此，码本初值的好坏对半连续模型相当重要。另外，由于码本是所有模型和状态共享的，多少码本才能较好地刻画整个模型也是值得探讨的问题。 SCHMM码本的生成主要分两步，首先是生成初始码本，然后利用生成的初始码本在基于最大似然准则下进行迭代训练，直到满足精度要求为止。训练是必要的，初始码本通常是基于最小平均失真准则产生的，通过训练，能够使得码本在基于最大似然准则条件下和SCHMM其它参数达到较好的一致。初始码本的选择相当重要，因为在训练中用于迭代的价值函数是一个非凸函数，初值的好坏决定了迭代运算是否能收敛到全局最佳点。 1 初始码本生成的算法 1.1 聚类的基本原理及方法