运用Python结合语音辨识及合成技术于自动化音文同步之实作A.PDF

The 2015 Conference on Computational Linguistics and Speech Processing ROCLING 2015, pp. 289-305  The Association for Computational Linguistics and Chinese Language Processing 運用Python 結合語音辨識及合成技術 於自動化音文同步之實作 A Python Implementation of Automatic Speech-text Synchronization Using Speech Recognition and Text-to-Speech Technology 賴俊翰 Chun-Han Lai 長庚大學資訊工程學系 Department of Computer Science and Information Engineering Chang Gung University j79916 @ 張朝凱 Chao-Kai Chang 長庚大學資訊工程學系 Department of Computer Science and Information Engineering Chang Gung University aw 呂仁園 Renyuan Lyu 長庚大學資訊工程學系 Department of Computer Science and Information Engineering Chang Gung University renyuan.lyu@ 摘要 本研究設計一個方便處理有聲書音文同步的技術，利用雲端的文字轉語音(Text-to-speech)技術， 結合語音辨識(Speech Recognition)技術，讓使用者能夠使用自行準備的文章來製作自己的『跟 述練習』(Shadowing technique)的學習素材，製作達到詞層級(Word-level)的音文同步有聲書。 此音文同步有聲書是藉由『帶時間點的文字』 (Timed-text)檔案所製作，而帶時間點的文字則 是由使用者所提供的文章連同對應的語音聲波檔案，經由一套名為 CGUAlign 的音文同步技 術之處理所產生的。CGUAlign 是運用Python 將一有名的語音辨識技術─HTK(Hidden Markov Model Toolkit) 包裝，只要提供文字檔及其朗讀的語音檔，其中語音檔是經由雲端語音合成技 術而得來的，即能製作出音文同步的帶時間點的文字檔案，隨後，我們也建立一個簡易的以 JavaScript 製作的網站，能夠運用這個檔案做電腦輔助語言學習(Computer-assisted language learning, CALL)之用，此網站能夠閱讀音文同步有聲書，讓使用者能夠較輕鬆的做跟述練習 ， 最後我們也提供即時翻譯的功能來達到電腦輔助語言學習的目標。 289 Abstract In this study, we establish a method to create speech and text synchron