使用位置资讯于中文连续语音辨识.pptVIP

使用位置資訊於中文連續語音辨識 邱炫盛, 羅永典, 陳韋豪, 陳柏琳 國立台灣師範大學資訊工程研究所 大綱 語言模型之研究 文件主題相關語言模型 混合主題式語言模型 機率式潛藏語意分析 位置相關語言模型 位置性N連詞模型 位置性機率式潛藏語意分析 模型之比較 實驗結果與分析 結論與未來展望 語言模型之研究 語言模型 代表自然語言規則或語意，可應用於各種自然語言處理的領域中 語言模型於語音辨識 輔助解決聲學上的混淆，限制辨識結果符合人類語言風格 使用不同資訊之語言模型 詞相關語言模型 詞類別相關語言模型 語句結構相關語言模型 文件主題相關語言模型 文件主題相關語言模型 混合主題式語言模型 透過結合不同主題之語言模型呈現語料中不同主題性的詞分布 訓練階段 以文件為單位，將訓練語料根據不同的主題分群，然後分別對每一份具有相同或相似主題的語料訓練語言模型 辨識階段 結合不同主題之語言模型，並於辨識過程中調整權重 文件主題相關語言模型(續) 機率式潛藏語意分析 透過隱藏的主題，表示詞與文件(歷史詞序列)的關係 訓練階段 最大化訓練語料相似度估測 辨識階段 最大化歷史詞序列相似度估測 為一詞袋(Bag of Words)模型，需與N連模型結合 線性插補 位置相關語言模型 詞位置資訊 第一段主要是主播的開場白或是一些連接詞 第二段則是主要新聞事件的內容，包含一些內容詞 第三段也是新聞的內容或是一些承接前幾段的說法 第四段則是新聞報導的結束及記者名字等 第一與第四段較具有明顯特性，而中間段落則因為是新聞事件則較無規律 結構化的文件之中，會有位置的資訊可以使用，如果文件群有相似的文件結構，可以收集其統計資訊 位置相關語言模型(續) 位置性N連詞模型 使用結構化文件之位置資訊 訓練階段 將位置相同的文件段落合併成新的文件集，接著分別針對新的文件集訓練N 連詞模型 辨識階段 於詞圖重計分階段，比較歷史詞序列與第一名(Top 1)序列的長度，判斷目前欲辨識詞的段落，使用固定位置之語言模型 直接使用結合之位置性N連詞模型，並線上調整權重 以三連模型為例 位置相關語言模型(續) 位置性機率式潛藏語意分析 同時使用位置及主題資訊 訓練階段 最大化訓練語料相似度估測 辨識階段 最大化歷史詞序列相似度估測 與 亦可由歷史詞序列與第一名(Top 1)序列決定 為一詞袋(Bag of Words)模型，需與N連模型結合 模型之比較 混合主題式語言模型與位置性N連詞模型 混合主題式語言模型 需要額外的分群技術，根據文件的主題做分群，每一群由許多相似的文件所組成，訓練不同主題之語言模型 位置性N連詞模型 需要相似的文件結構，根據文件的段落做分割，再將同一段落收集起來，訓練不同段落之語言模型 模型複雜度相同，皆為 ， 為分群或分段數 模型之比較(續) 機率式潛藏語意分析與位置性機率式潛藏語意分析 模型複雜度 機率式潛藏語意分析 位置性機率式潛藏語意分析 位置性機率式潛藏語意分析可視為兩層主題之機率式潛藏語意分析 實驗設定 語音特徵 異質性線性鑑別分析配合最大相似度線性轉換做為語音特徵，並使用倒頻譜正規化法 聲學模型 訓練集為公視廣播新聞2001, 2002年，約25.5小時 最大化相似度及最小化音素錯誤訓練 語言模型 背景語言模型語料為中央通訊社 新聞2001, 2002年，約八千萬詞 語言資訊調適語料為公視廣播新聞2001, 2002年轉寫文字，約一百萬詞 測試語料 公視廣播新聞2003年，發展集1.5小時，評估集1.5小時 辨識實驗進行於詞圖重計分階段，相關參數設定於發展集調整至最佳後再用於評估集 實驗結果 實驗結果(續) 結論與未來展望 本論文主要探討詞位置資訊，詞在文件中的位置資訊可視為文件的樣式 我們提出了位置相關語言模型，如位置性N連詞模型與位置性機率式潛藏語意分析，將位置資訊整合至現有的模型，如N連詞模型和機率式潛藏語意分析等 未來可嘗試整合詞位置資訊於其他資訊相關語言模型，如詞主題混合模型等，或是探討詞於不同層次的位置資訊，如語句，段落等 謝謝各位 敬請指教 第一到第四段：就是說、這樣子、這邊 第四段：公視、編譯、採訪、瑤、蕙、綾、諭、煌、保羅 第三段：比方說、譬如說、上面、或者、大概、老師、身分、裡面、小孩子 第二段：蠻、大概、米酒、那麼、我、我們、念書、了解、裡面、珊瑚 第一段：您、公布、宣布、轉到、鏡頭、下面、專題報導、晚安、接下來 372.26 18.80 16 377.64 18.95 8 384.26 19.17 4 385.90 19.06 3 388.00 19.12 2 434.46 19.