利用现有的语音辨识系统对这些语料进行自动转写.PPTVIP

非監督式學習於中文電視新聞自動轉寫之初步應用 郭人瑋、蔡文鴻、陳柏琳 國立台灣師範大學資訊工程研究所 Exploiting Unsupervised Learning to Mandarin TV News Transcription: An Initial Study Jen-Wei Kuo , Wen-Hung Tsai , Berlin Chen Speech Lab, National Taiwan Normal University 序論 動機 日常生活中能取得的多媒體影音資訊愈來愈多，若要在語音辨識系統上使用這些資訊，人工轉寫往往不易取得。 解決方法?非監督式學習 利用現有的語音辨識系統對這些語料進行自動轉寫，並使用信心度評評估來加以篩選。 非監督式學習包含 非監督式聲學模型訓練 利用發音確認技術來挑選較正確的語料。 非監督式聲學模型調適 引入信心度評估來作聲學模型調適。 非監督式語言模型調適 使用自動轉寫的文字語料來作語言模型調適。 非監督式學習之流程與技術 Introduction Motivation 日常生活中能取得的多媒體影音資訊愈來愈多，若要在語音辨識系統上使用這些資訊，人工轉寫往往不易取得。 Solution? Unsupervised Learning 利用現有的語音辨識系統對這些語料進行自動轉寫，並使用信心度評評估來加以篩選。 非監督式學習包含 Unsupervised Acoustic Model Training 利用發音確認技術來挑選較正確的語料。 Unsupervised Acoustic Model Adaptation 引入信心度評估來作聲學模型調適。 Unsupervised Language Model Adaptation 使用自動轉寫的文字語料來作語言模型調適。 台師大資工所新聞語音辨識系統 大詞彙連續語音辨識系統 詞典建立：利用前後雙連機率來作為複合詞合併的依據。 詞彙樹複製搜尋：為一種結合語言模型與聲學模型的動態規劃搜尋演算法，配合語言模型前看分數及光束剪栽能有效率的建立詞圖。 詞圖搜尋：在詞圖上上使用更高階的語言模型，重新進行一次動態規劃搜尋，找出最佳的詞句 。 NTNU LVCSR System Large Vocabulary Continuous Speech Recognition System 詞典建立：利用前後雙連機率來作為複合詞合併的依據。 詞彙樹複製搜尋：為一種結合語言模型與聲學模型的動態規劃搜尋演算法，配合語言模型前看分數及光束剪栽能有效率的建立詞圖。 詞圖搜尋：在詞圖上上使用更高階的語言模型，重新進行一次動態規劃搜尋，找出最佳的詞句 。 詞圖 非監督式學習之流程 非監督式學習技術 候選詞事後機率 候選詞事後機率 根據觀察，以愈高階的語言模型進行詞圖搜尋，候選詞之間的事後機率差異愈是懸殊，例如以三連語言模型進行詞圖搜尋時，第一名詞序列(Top1 Word Sequence)中的候選詞往往佔有超過0.95的事後機率，換句話說，語言模型所用的階層(Order)愈高，則候選詞事後機率愈受語言模型所影響。 將式子作一點修正，引入信心度比例係數來解決。 候選詞事後機率 其中 為信心度比例係數(Confidence Scale Factor)，介於0與1之間，表示對聯合機率施以壓縮，使候選詞間的事後機率差異變小。當等於1時，則表示刻度不變；當等於0時，事後機率為均勻機率(Uniform Probability)。 聲學信心 候選詞信心度評估 發音確認 決定某語句是否予以挑選成為非監督式訓練的語料。發音確認可視為一個決斷函數 ，根據平均候選詞信心度評估，來決定自動轉寫產生的第一名詞序列 是否能成為訓練語料。其中 為篩選的基準閥值。 非監督式聲學模型調適 大多數的非監督式聲學模型調適僅取第一次辨識所產生的第一名詞序列來做聲學模型調適的依據。 然而語音辨識的錯誤可能會對聲學模型調適造成影響，使得調適效果有限。 我們嘗試使用候選詞信心度評估為詞圖上的候選詞進行加權，使得每一個候選詞依其信心度評估分數對模型調適都有不同程度的貢獻。 非監督式聲學模型調適 演算法： 測試語句經由詞彙樹複製搜尋(Tree-Copy Search)，產生詞圖(Word Graph)。 利用Forward-Backward演算法在詞圖上進行詞圖搜尋(Word Graph Rescoring)，為詞圖上的每一候選詞求出其對應的信心度評估。 針對每一候選詞 的語音段落，再使用一次狀態層次(State Level) Forward-Backward演算法，