以语音辨识与评分辅助口说英文学习.PDF

以語音辨識與評分輔助口說英文學習 1 1 1 1,2 陳江村 羅瑞麟 張智星 李俊仁 1 2 國立清華大學 資訊工程系 中華電信研究所 新竹市光復路二段 101號 桃園縣楊梅鎮民族路 5段 551巷 12號 E-mail : { jtchen, roro, jang}@.tw, cjlee@.tw 摘要： 本論文提出利用音訊處理和語音辨識的技術，進行英文語音評分。依英文發音的特有性，進行評分系統的各個 模組之設計、製作及實驗，期許建立一套合理的英文語音評分系統。 本論文結合三項技術 ― 「說話驗證」、「語音訊號切割」和「英文語音評分」達成輔助口說英文之學習。 「說話驗證」利用說話驗證的可信度評估，依此拒絕文句內容(context)不正確的評分語句。「語音訊號切割」 提供一個將語音訊號切割出每個音素時間區段的方法，以預先訓練好的英文發音聲學模型當作切割依據，爾後 經由語音辨認技術，以合適的聲學模型切割出正確的發音區段。 「英文語音評分」為評分系統的核心，使用的評分方式是比較標準語音和評分語音的相似度。本文採用四 個評分參數 ―音量強度曲線、基頻軌跡曲線、發聲急緩變化及 HMM 對數機率差異進行語音相似度評分。經 由實驗，對於一個合理的評分系統，我們得到音量強度曲線的權重為 7.45% ，基頻軌跡曲線的權重為22.40% ， 發聲急緩變化的權重為 17.24% ，HMM 對數機率差異的權重為 52.91% ，經由實驗證實本系統之語音評分與人 工評分具有約 60%的正相關性。 關鍵詞: 語音辨識、語音評分、 HMM 、聲調辨識、Viterbi Search 、音量強度、音高向量、梅爾式刻度倒頻譜、Forced Alignment 、Downhill Simplex Search 1 前言 由於近年來電腦計算能力的提昇以及語音辨識技術的進步，語音處理在我們日常生活上的應用與日俱增，如語 音辨識、語音合成、語者識別等等。其中，在跨國界的語言學習中，以電腦輔助使用者進行非母語學習 (CALL, Computer-Assisted Language Learning)已受到相當重視，各方也紛紛投入相關的研究 [10][11][18][15][20] 。 電腦輔助發音訓練 (CAPT, Computer-Assisted Pronunciation Training)可視為是語音辨識和圖形比對 (Pattern Matching) 兩項技術的結合。本論文研究主題，包含「說話驗證」、「語音訊號切割」以及「英文語音評分」三 個部份，希望融合目前語音辨識和圖形比對的技術，對使用者進行公正的語音評分。 在語音評分系統中，如果能先濾除內容和標準語音完全不同的評分語音，可以使整個語音評分系統更具 公信力。本論文運用了可信度評估的技術來達成說話驗證(Utterance Verification) 。確保了評分語音內容的正確 性後，對於評分語音我們使用 HMM(Hidden Markov Model)切割出每個音素(phoneme)的時間區段，使用高辨識 率的HMM聲學模型可確保切割出來的音素區段有一定的可信度及正確率。在英文語音評分部份，我們利用標 準語音資料來進行一種較為主觀的評分方式，主要使用圖樣比對(Pattern Matching)的方法，根據四個評分參數： 音量強度曲線 (Magnitude) 、基頻軌跡曲線(Pitch Contour)、發聲急緩變化(Rhythm)以及HMM 對數機率差異(HMM Log-Likelihood) ，將評分語音和標準語音的資料逐音素地來做比較，以期找出評分語音和標準語音的差異程度。 2 相關研究 1997 年時，C. Cucchiarini 、H. Strik及 L. Boves 以荷蘭語為主，定義了Total Duration of Speech no/plus Pause 、 Mean Segment Dura