关联转换之分析与研究（II）.PDFVIP

行政院國家科學委員會專題研究計畫 成果報告 子計畫三:媒體應用中由語音音訊訊號到視訊臉部嘴形同步 關聯轉換之分析與研究(II) 計畫類別：整合型計畫 計畫編號：NSC91-2219-E-007-021- 執行期間：91年08月01日至92年10月31日 執行單位：國立清華大學電機工程學系(所) 計畫主持人：鐘太郎 報告類型：精簡報告 處理方式：本計畫可公開查詢 中 華 民 93年2月3日 國 行政院國家科學委員會專題研究計畫成果報告 子計畫三:媒體應用中由語音音訊訊號到視訊臉部嘴形同步 關聯轉換之分析與研究(II) 計畫類別：□ 個別型計畫 ▓ 整合型計畫 計畫編號：NSC 91 －2219－E－007－021 計畫主持人：鐘太郎 共同主持人： 計畫參與人員：張彬 張吉興 吳培陸 成果報告類型(依經費核定清單規定繳交)：▓精簡報告 □完整報告 本成果報告包括以下應繳交之附件： □赴國外出差或研習心得報告一份 □赴大陸地區出差或研習心得報告一份 □出席國際學術會議心得報告及發表之論文各一份 □國際合作研究計畫國外研究報告書一份 處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列管計畫 及下列情形者外，得立即公開查詢 □涉及專利或其他智慧財產權，□一年□二年後可公開查詢 執行單位：國立清華大學 1 中文摘要 由於多媒體、網際網路、無線通訊的進步，縮短了人們的距離。舉凡像是視訊會議、 虛擬代言人和電子郵件讀信已經成為現在時尚的話題，但是上述的困難點在於有限頻寬的 限制。我們利用人們在說話時所得到的語音特徵，經過音訊視訊轉換得到相對應的唇型特 徵，由於這兩者有高度的相關性，我們可以利用唇形特徵用來解決語音特徵無法克服的雜 訊問題，而得到較佳的結果。而就臉部表情分析而言，我們做了嘴唇高度與寬度部分，因 人們在說話時這個部分有著顯著的變化，以便我們特徵的抽取。 本研究計畫中，我們自己做了兩種表情(自然、微笑)的資料庫，音訊部分包含了語音 波形以及發聲與未發聲的參數位置，視訊部分我們則採用貼點的方式萃取出嘴唇的變化， 類器為理論基礎之音訊視訊轉換系統的效率，而在語音特徵上加入功率的因素所得到的訓 練模型，用這套模型測試時可以降低估計的誤差量。而高斯混合模型，可以從語音特徵參 數來預估唇型特徵參數，利用這個方法，將連續的語音訊號對應到嘴唇的動作。另外，為 了表示人們在不同的情緒時所對應的語音與唇型的動作也就不同，我們利用類似DTW演算 的方式計算出不同的表情所產生嘴部影像特徵的差異量，利用這個差異量來合成我們所需 臉部表情的唇型變化。這個方法可以降低類神經網路訓練所需的資料量。而根據我們所需 的表情可得所需的嘴唇變化。 關鍵詞 ：多媒體應用,音訊視訊轉換,類神經網路,輻射基底函購理論,混合高斯模型. Abstract The progress in multimedia, wireless communication and internet, has curtailed distance between people. These progresses have brought up new topical subjects like video conferencing, virtual agent and email reader. Movement of large quantity of audio and video information is usually involved in such applications. However, limited and finite bandwidth poses some restrictions on their usage. Meas