多重视点影音资讯表述与合成技术研究.pdfVIP

多重視點影音資訊表述與合成技術研究 杭學鳴 國立交通大學電子工程學系 計畫編號：NSC 97-2221-E-027-044 NSC 98-2221-E-009-087 一、摘要 二、計畫說明 單一視點和單通道信號處理為主的 MPEG-4、 本研究主要包含於國科會整合性計畫「多重視 H.264 等相關技術已經日漸成熟與普及，而新興多視 點與多聲道之多媒體資訊處理新興技術研究」的第三 點多聲道系統仍有待開發與討論。為了加速多媒體產 項子計畫。此研究乃針對多視點多聲道的多媒體關鍵 業發展，MPEG 委員會正研議相關標準。在視訊方面 技術，在聲訊部分著重於多聲道聲訊表述與自由聆聽 ，技術關鍵在「自由視點」問題，即如何從任意視角 點聲訊合成。在視訊部分著重於多視點視訊表述方式 及位置展示影像或物體。在聲訊方面，技術之關鍵在 。計畫主要內容可包括以下兩項工作： 「自由聽點」問題，即如何重現音場。目前以 MPEG (1) ３Ｄ音訊合成 Surround 為比較新的彈性規格，其中 MPEG SAOC 在本計畫中，我們對麥克風陣列訊號進行 3D 音 為最近正在發展的工作項目。本研究之目的為實現關 訊合成，主要分為兩個部份：盲訊號源分離與 3D 聽 鍵性的自由視聽技術、增強其編碼效率、並提出可行 覺訊號合成。 之「自由聽點」與「自由視點」系統架構。 盲訊號源分離 本研究計畫探討多重視點影音資訊表述與合成 盲訊號源分離 (Blind source separation)是為了 技術，分為兩部分進行。第一部分是聲訊，發展多點 解決「雞尾酒宴會現象 (cocktail party phenomenon) 聲訊的高維度資料表示法與自由點聲訊即時輸出演 」而出現。在麥克風收到的聲音訊號是許多訊源的混 算法。如圖 1 所示，重點在如何使用有限個麥克風 合時，而訊源訊號與其混合的方式都不清楚的條件之 錄製聲音，以「自由聽點」演算法處理，使用有限個 下，將混合訊號分離還原為原本的多個訊源訊號。 喇叭合成重現音場。第二部分是視訊，我們探討多重 視點視訊表示法與合成方式。重點在如何使用有限個 攝影機錄製影像，以「自由視點」演算法處理，重建 視場，讓使用者依據各自需求選擇視點。同時由於視 訊資料量龐大，我們亦探討即時處理的快速演算法。 圖 2. 使用麥克風陣列訊號作盲訊號源分離之演算法 流程圖。 如 圖 2 所 示 ， 我 們 採 用