混合语言之语音的语言辨.pdfVIP

混合語言之語音的語言辨識 Author : 朱晴蕾呂道誠呂仁園 Professor : 陳嘉平 Reporter : 許峰閤 大綱 • 緒論 • 音節辨識 • 語言判別 • 實驗 緒論 • 傳統的LID主要是用於判別出一段語音是何 種語言所構成,但是現在語言轉換(Code- Switching)的技巧在日常生活中平凡的出現 • 所謂Code-Switching就是兩種或兩種語言 以上交體組合而成的語言 • 此篇PAPER辨識希望能區分一段語音中部 同語言的交換分界處 系統架構圖 音節辨識 • 在語言的標音上,音標使用ForPA,在華語的 音素有37個,台語的音素有56個,聯集有63個, 交集有32個 • 分為聲學模型跟語言模型兩部分 • 在聲學模型方面,分成語言獨立的聲學模型 以及語言相依的聲學模型 聲學模型 • 語言獨立的聲學模型: 聲學模型中所有的音 標沒有語言上的分別,是由華語及台與共同 訓練而成 • 語言相依的聲學模型:針對每種語言分別訓 練其獨立的聲學模型,並在每個模型中標記 其所屬的語言類別,再結合在一起,所以其音 標都有所屬語言的標籤 語言模型 • N-gram的語言模型可以提供一種語言中其 文字的序列規則,並以統計和機率的方式來 呈現 • 對正確的語言現象,字與字之間的共同出現 機率較高,對較不符合語法者,字與字之間的 共同出現機率較低,例如: ‘今日＇這種組合 在華語中機率較高,’今仔日＇在台語中較高 語言模型 • 在這邊是使用bi-gram的語言模型,並以音節 為單位量,再用約一萬七千句華語及九千句 台語來訓練這個模型,所有句子皆僅由一種 語言組成 語研判別 判別字詞邊界與語言 • 在多字詞詞典方面,使用中研院的華語詞典 及實驗室中的台語詞典混合,總詞數約十四 萬詞,並將每個多字詞後標記所屬語言種類, 華語約八萬詞,台語約五萬詞,兩種語言皆可 能出現者一千五百詞 • 單字詞字典華語單字詞數約230個,台語為 580個,華語台語共同出現為200個 判別字詞邊界與語言 • 在實際觀察混合語言的語音文句中,發現語言的轉 換時機都在詞(word)上,在判別字詞邊界與語言的 這個步驟,變是將音節序列與詞典中詞句做最長匹 配比對,將比對到的部分做為詞與詞的分界點 • 例如:我最喜歡去(夜市仔)吃東西便可以切成我最 喜歡去、夜市仔、吃東西這三個詞 • 但音節組合可能不在詞典中,所以使用單字詞詞典 來解決這個問題 共同詞處理 • 共同詞處理又分為多字詞及單字詞,在多字 詞的共同詞處理中,使用統計語料庫出現的 頻率高低來決定,取出現機率較高者 • 單字詞的共同字處理分為兩種 1.語言獨立聲學模型(LIAM) 2.語言相依聲學模型(LDAM) 共同詞處理 • 在LIAM的模型下,每個音節都會帶有語言標 籤,便直接以該語言標籤為依據 • 在LDAM的模型下,在做語言轉換的時候估 計都是以word為邊界,所以若前後兩個音節 為同一語言時,該音節即與前後語言為同語 言,但此法並無法完全解決問題,所以現多採 用N-gram的概念,利用前後音節同時出現的 機率還決定該語言 實驗 • 在混合語言的文句上,收集了75句,由十個人 錄音共750句,在安靜無噪音的環境下錄製 16kHz,16bit的聲音訊號 實驗 • 使用兩種不同的聲學模型及兩種不同的語