若干的资料选取方法.pptVIP

若干資料選取方法以改善鑑別式聲學模型訓練 指導教授：陳柏琳 博士 研究生：朱芳輝 大綱 研究內容與貢獻 AdaBoost演算法 最小化音素錯誤訓練 資料選取方法 基於AdaBoost演算法的資料選取方法 基於詞圖期望音素正確率的資料選取方法 實驗與討論 結論與未來展望 統計式語音辨識基本架構圖 研究內容與貢獻 基於AdaBoost演算法之資料選取方法 基於詞圖期望音素正確率(Expected Phone Accuracy)定義域之資料選取方法 訓練語句層次的資料選取方法 音素段落層次的資料選取方法 多重資料選取方法之結合 緣由 在No Free Lunch Theorem中明確地指出： 不存在任何單一個學習演算法可以推導出一個非常精確的學習器(Learner)，使其適用於所有的領域之中 解決辦法： 找出多個具有不同能力的學習器，透過將這些學習器予以結合而得到一個單一個擁有全方位能力的學習器 但，該如何結合這些學習器？ 多重階段結合法(Multistage Combination) 多重專家結合法(Multi-Expert Combination) 投票(Voting)演算法 Voting演算法 針對一待側樣本 ，若存在多個學習器 ，則： 將 定義為線性組合： Boosting演算法 Boosting演算法的精神在於 循序的訓練求得多個學習器，每一個學習器的能力可以彌補前一學習器的不足 透過結合多個弱勢學習器(錯誤小於0.5)，最終所得之集成可為一個強勢學習器(錯誤為任意小) 幾個缺點： 只能應付二元分類任務 最多三個分類器 訓練樣本集要夠大 AdaBoost.M2演算法 最小化音素錯誤鑑別式聲學模型訓練(1/3) 最小化音素錯誤鑑別式聲學模型訓練的目標函數 旨在最大化語音辨識器對所有訓練語句 之可能辨識出候選詞序列 ( )的期望音素正確率 其中 可用語音辨識器產生的詞圖 來近似： 最小化音素錯誤鑑別式聲學模型訓練(2/3) 最小化音素錯誤鑑別式聲學模型訓練(3/3) 其目標函數可透過延伸波式(Extended Baum-Welch)演算法得到聲學模型參數估測之更新公式 基於AdaBoost演算法的資料選取方法(1/3) 本論文將AdaBoost演算法中的分類錯誤定義於訓練語句層次上： 對於通過時間音框 上所有的候選音素段落給定不同的權重： 基於AdaBoost演算法的資料選取方法(2/3) 則最小化音素錯誤訓練的目標函數可以表示為： 對於 的訓練語句而言，其權重會介於 到1之間；對於 的訓練語句而言，其權重會介於1到 之間。 亦對I-Smoothing之統計值給予權重 基於AdaBoost演算法的資料選取方法(3/3) 另一種權重設計： 而最小化音素錯誤訓練的目標函數又可表示為： 訓練語句選取方法 在鑑別式聲學模型訓練中，詞圖可以被視為一訓練語句能夠帶來多少鑑別資訊的重要憑據 在最小化音素錯誤訓練中，一訓練語句中所有候選詞序列的期望正確率 可以視為其詞圖在混淆程度上的基準 一訓練語句擁有過高或過低的 ，所能提供的鑑別資訊便為有限 因此，訓練語句選取方法可定義為： 音素段落選取方法(1/2) 在最小化音素錯誤訓練中，在音素段落 上所收集的統計值會根據 區分為正貢獻或是負貢獻兩類 因此，可將 視為音素段落在期望正確率上的一個決定邊界 音素段落選取藉由定義一個邊際範圍來選取富含鑑別資訊的音素段落： 音素段落選取方法(2/2) 另一種柔性的音素段落選取方法，可使每一音素段落對於訓練過程皆有貢獻： 實驗設定 實驗語料 (公視電視新聞語料MATBN) 訓練語料 (24.5hrs): 外場記者男女各46,000s (12.25 hrs) 測試語料 (1.45hrs): 外場記者男1300s，女:3900s 大詞彙連續語音辨識 (72,000詞) 詞彙樹複製搜尋: 使用雙連語言模型 詞圖搜尋: 使用三連語言模型 特徵抽取 39維HLDA+MLLT+CN 最小化音素錯誤訓練 I-Smoothing中的參數 皆設為10 本論文之實驗方法 基於AdaBoost演算法之資料選取方法 結合AdaBoost演算法於鑑別式聲學模型訓練 基於詞圖期望音素正確率(Expected Phone Accuracy)定義域之資料選取方法 訓練語句層次的資料選取方法 音素段落層次的資料選取方法 多重資料選取方法之結合 A