聚集事后机率线性回归调适演算法应用於语音辨识.pdfVIP

聚集事後機率線性迴歸調適演算法應用於語音辨識 Aggregate a Posteriori Linear Regression for Speech Recognition 黃志賢 王奕凱 簡仁宗 國立成功大學資訊工程學系 {acheron,display}@chien.csie.ncku.edu.tw, jtchien@mail.ncku.edu.tw 摘要 在本論文中，我們提出一套由聚集事後機率(aggregate a posteriori)為基礎之鑑別式線性回歸(linear regression) 轉換矩陣參數調適演算法。在近幾年，由於鑑別式訓練的效果優越，於是出現使用鑑別式訓練法則進行轉換矩陣調 適，稱為最小分類錯誤率線性迴歸(minimum classification error linear regression, MCELR)調適演算法。我們認為使用 最小分類錯誤率準則進行線性迴歸調適時，若能再進一步考慮線性迴歸矩陣之事前機率分佈，則可以結合貝氏法則 之強健性與最小分類錯誤率之鑑別性，以估測出更佳之轉換矩陣用於語者調適上。透過聚集事後機率與鑑別式訓練 間之關連及適當之條件簡化，則可得到參數更新之封閉解(close form)型式以加速鑑別式訓練的參數估測。在實驗中， 我們使用TCC300 語料進行語音模型參數之訓練與迴歸矩陣之事前機率分佈之參數估測，而在調適及測試時，則使 用公共電視台所錄製之電視新聞語料，進行轉換矩陣估測強健性之評估與其他轉換矩陣參數調適效能之比較，在不 同調適語料之實驗結果發現我們提出之聚集事後機率線性回歸可以有效達到鑑別式語者調適的效果。 1. 緒論 在語音辨識的相關研究中，常常需要面對的問題是用於訓練時的語料與測試時語料的語者或環境常常大不相 同。每個人的聲學特質都不相同，而不同環境所產生的背景雜訊也都不同。如何有效地將訓練所得的語音模型配合 測試時所使用的語料特性進行適當的語者調適，以有效地消除這兩者之間的不匹配情形，是許多學者研究的課題。 語音模型的參數必須在訓練時使用大量語料進行估測，最普遍使用的模型訓練準則為最大相似度估測 (maximum likelihood estimate, MLE)[19] ，在此種方法中，當模型與所收集之訓練語料的相似度最大時，即可求得在 此估測準備下最佳的語音模型參數。由於語音模型參數的估測，有所謂不完整資料(incomplete data)的問題，所以皆 利用EM(Expectation-Maximization)演算法[6]進行理論推導。 除了使用最大相似度作為參數估測準則之外，另一個也常被用於作為參數估測的是基於貝氏理論的最大事後 機率(maximum a posteriori, MAP)估測法則[8] 。貝氏估測法則認為參數為一隨機變數，可以機率分佈表示之。利用根 據所給定的訓練語料而使得對應的模型參數之事後機率最大之特性，即可求得基於此方法之最佳參數。在最大事後 機率訓練法則之訓練機制下，一般不可直接最大化模型參數之事後機率，而常根據貝氏法則，將之拆解為語料與模 型間相似度與模型參數事前機率之組合，所以可利用事前資訊對模型參數加以限制，可以改善訓練資料稀疏所產生 的錯誤訓練問題。 除了前述兩者參數估測準則之外，鑑別式訓練(discriminative training)[3]則提供了在模型訓練上的另一種選擇。 由較早的 multilayer perceptron(MLP)[17] 、learning vector quantization(LVQ)[18] ，到近來的最小分類錯誤(minimum classification error, MCE)[11] 、最大相互資訊(maximum mutual information, MMI)[20] ，有許多不同的理論方法。鑑別 式訓練與其它模型訓練方法最大的不同是，除了考慮樣本與本身模型的相似度之外，還額外考慮樣本與其它模型之 間的相似度，這種作法可以避免模型訓練時，原本就相似的語音模型產生互相混淆的情況 。 Qi Li [15]在2002 年提出一般化最小錯誤率(generalized minimum error rate, GMER) ，由事後機率的角度出發， 定義聚集事後機率(aggregate a post