结合声音侦测和字幕辨认以撷取棒球影片的精彩片段.pdf

■ 成 果 報 告 行政院國家科學委員會補助專題研究計畫 □期中進度報告 結合聲音偵測和字幕辨認以擷取棒球影片的精彩片段 Extracting Highlights on Baseball Video by Fusing Sound Detection and Caption Recognition 計畫類別：■個別型計畫 □ 整合型計畫 計畫編號： NSC 94-2213-E-214-003 執行期間：九十四 年 八 月 一 日 至 九十五 年 九 月 三十一 日 計畫主持人：蘇義明 成果報告類型(依經費核定清單規定繳交)：□精簡報告 ■完整報告 本成果報告包括以下應繳交之附件： □赴國外出差或研習心得報告一份 □赴大陸地區出差或研習心得報告一份 ■出席國際學術會議心得報告及發表之論文各一份 □國際合作研究計畫國外研究報告書一份 處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、 列管計畫及下列情形者外，得立即公開查詢 □ 涉及專利或其他智慧財產權，□一年□二年後可公開查詢 執行單位： 義守大學電子工程系 中 華 民 國 九 十 五 年 九 月 三 十 日 1 行政院國家科學委員會專題研究計畫期中報告 結合聲音偵測和字幕辨認以擷取棒球影片的精彩片段 Extracting Highlights on Baseball Video by Fusing Sound Detection and Caption Recognition 計畫編號： NSC 94-2213-E-214-003 計畫主持人： 蘇義明 執行單位： 義守大學電子工程系 中文摘要 根據棒球影片中的字幕內容變化與偵測聲音來 分析是否發生精采事件，讓觀眾可以依據 喜好來決定觀看哪些精彩事件，節省觀看的時間。本計劃研究之目的為實現在即時棒球影 片中，擷取字幕內容並加以辨識，根據辨識與聲音偵測之結果，進行判斷與分類，得知是 否發生精采事件和發生何類精采事件。以聲音為基礎的架構中，我們使用具 MDL( Minimum Description Length) 定理的高斯混合模型(Guassian Mixture Models)對聲音訊號進行分類 (classification ) ，MDL-GMMs 能在有限的訓練資料 (training data)中提高系統的分類 (classification)的準確度，相對地也大大改善在擷取棒 球運動視訊精采片段的正確度。字幕 內容的辨識及發展判斷精彩事件的架構中，在取得字幕內容並獲得可信賴的辨識結果後， 進行精采事件判斷。精采事件之判斷為使用模型(model-based