融合多种深层类神经网路声学模型与分类技术於华语错误发音检测之研究.PDFVIP

The 2015 Conference on Computational Linguistics and Speech Processing ROCLING 2015, pp. 103-120  The Association for Computational Linguistics and Chinese Language Processing 融合多種深層類神經網路聲學模型與分類技術於華語錯誤發音檢 測之研究 Exploring Combinations of Various Deep Neural Network based Acoustic Models and Classification Techniques for Mandarin Mispro- nunciation Detection 許曜麒 Yao-Chi Hsu , 楊明翰 Ming-Han Yang , 洪孝宗 Hsiao-Tsung Hung , 熊玉雯 Yuwen Hsiung , 宋曜廷 Yao-Ting Sung , 陳柏琳 Berlin Chen 國立臺灣師範大學資訊工程學系 中原大學應用華語學系 國立臺灣師範大學教育心理與輔導系 {ychsu, mh_yang, alexhung, sungtc, berlin}@.tw ywhsiung@.tw 摘要 錯誤發音檢測(mispronunciation detection)為電腦輔助發音訓練(computer assisted pronun- ciation training, CAPT)研究中十分重要的一個環節 ，其目的是回饋給語言學習者是否在 其讀誦一段話中的出現錯誤發音 。一般而言，錯誤發音檢測流程可分為兩部分 ：1)前端 特徵擷取模組 ，基於學習者所念誦的音素或語句段落和聲學模型(acoustic model)的比對 以擷取對應的具有鑑別性之發音檢測特徵；2)後端分類模組，基於所求得發音檢測特徵， 判斷音素或語句段落所歸屬類別(正確發音或錯誤發音) 。在本篇論文延續錯誤發音檢測 研究而主要有三項貢獻 ：1)比較並結合當前基於深層類神經網路(deep neural networks, DNN)與摺積類神經網路(convolutional neuron networks, CNN)之先進的聲學模型以產生 更具鑑別性發音檢測特徵；2)我們比較並結合不同分類方法，以期能達到更佳的發音檢 測表現；3)針對錯誤發音檢測所包括的模組，進行一系列廣泛且深入的實驗分析與討論。 從一套以華語做為第二語學習目標語言的大量語料庫之實驗結果顯示，我們所提出融合 多種深層類神經網路聲學模型與分類技術的方法的確能較基礎方法有顯著的效能提升。 關鍵字：錯誤發音檢測、自動語音辨識、深層類神經網路、摺積類神經網路 Abstract Automatic mispronunciation detection plays a crucial role in a computer assisted pronunciation training (CAPT) system. The main purpose of mispronunciation detection is to judge whether the pronunciations of a non-native speaker are correct or not. In general, the process of mis- pronunciation detection can be divided into two parts: 1) a front-end feature extraction module that generates pronunciati