自由点声讯合成与多视点视讯表述技术研究.PDFVIP

行政院國家科學委員會專題研究計畫 成果報告 自由點聲訊合成與多視點視訊表述技術研究(第 3年) 研究成果報告(完整版) 計 畫 類 別 ： 個別型 計 畫 編 號 ： NSC 98-2221-E-009-087-MY3 執 行 期 間 ：100年08月01日至101年07月31日 執 行 單 位 ：國立交通大學電子工程學系及電子研究所 計 畫 主 持 人 ： 杭學鳴 計畫參與人員： 碩士班研究生-兼任助理人員：張鈞凱 碩士班研究生-兼任助理人員：蔡長廷 碩士班研究生-兼任助理人員：李讀修 博士班研究生-兼任助理人員：吳崇豪 博士班研究生-兼任助理人員：陳俊吉 博士班研究生-兼任助理人員：詹家欣 報 告 附 件 ： 出席國際會議研究心得報告及發表論文 公 開 資 訊 ： 本計畫涉及專利或其他智慧財產權，1年後可公開查詢 中 華 民 國 101 年 10月 16 日 中 文 摘 要 ： 本研究計畫的目的是探討多重視點影音資訊表述與合成技 術，全程三年，今年為第三年。本報告分成三部分，第一部 分是使用景深感應器與RGB相機改善景深圖估測，第二部分 是基於正/逆向深度映射演算法的稀疏多相機虛擬視點合成， 第三部分是使用無響室錄音合成虛擬聆聽點的音訊。 在立體影像顯影技術中，以視點合成技術最為關鍵。為了節 省資料量的需求，現今視點合成的技術大多以既有的2維影 像加上對應的景深資訊，來產生虛擬視點的影像。一般常見 取得景深資訊的方法為「被動式景深估測」，但其計算量大 且估測出的景深資訊不完全正確。為改善被動式景深估測的 缺點，我們使用主動式景深感應器-Kinect取得景深資訊， 並且透過景深改善演算法，增加景深資訊的正確性。最後我 們利用影像合成，來觀察景深影像的品質對虛擬視點影像的 影響。 而立體視訊編碼 (Three-Dimension Video Coding，簡稱 3DVC)在多媒體領域上扮演重要的腳色，然目前的立體視訊合 成只針對於密集且平行相機陣列系統。本篇報告係打破此一 限制，並發展一套逆向景深映射演算法以改善現有景深映射 後的缺點。我們也利用真實影像來驗證，並在主觀品質上有 不錯的成果。 多媒體視聽娛樂已逐漸朝多視角和多聲道發展，在多聲道系 統，其技術關鍵是自由聆聽點產生對應該點的空間聽覺感 受。在本篇報告中將說明我們如何藉由無響室建造實體錄音 環境，設計並且實現一個虛擬聆聽點系統。我們利用盲訊號 分離(Blind Source Separation，BSS)、到達方向 (Direction of Arrival，DOA)偵測、語音去雜訊等技術來建 立虛擬聆聽位置的音訊，即虛擬聆聽點語音合成。為了