2研究计画之背景及目的-MAPL.doc

2研究計畫之背景及目的 本研究的目的在研究與發展「基於MPEG-4 AVC/H.264標準之多視角視訊編解碼」演算法。目前 多視角視訊編解碼(Multi-View Video Coding)為國際電信聯盟(International Telecommuni- cation Union)與國際標準組織(International Organization for Standardization)的一個 合作開發項目。其目標是提供使用者能以各種不同角度觀看視訊內容。其應用涵蓋自由視角電 視(Free Viewpoint TV)、全向影片(Omnidirectional video)、互動式立體影片(Interactive stereo video)、遠距醫療、三維投影實境、家庭娛樂、虛擬實物消費、體育實境、監控與通 訊等等。有鑑於多視角視訊廣泛的應用，日、韓與歐美等國分別成立大型國家計畫[1][2]希望 結合多項領域專家共同完成標準制訂與各種應用的開發。本研究將結合過去參與視訊標準開發 經驗與實驗室資源，提出多視角視訊編解碼改善方法。此外，我們亦將參與多視角視訊編解碼 標準制訂藉以達到人才培訓與國際學術交流目標。 2.1多視角視訊簡介(Introduction) 2.1.1多視角視訊(Multi-View Video) 隨著處理器能力的大幅增長與三維顯示技術(3D Display Technology)的逐漸成熟，多視角視 訊(Multi-View Video)的應用將逐漸的進入我們的生活環境並改變我們的溝通與生活方式。不 同於傳統二維視訊，多視角三維視訊提供使用者以各種不同角度觀看視訊內容並帶給使用者更 真實與身歷其境的現場感受。如Figure 1所示，其應用包含自由視角電視(Free Viewpoint TV)、 全向影片(Omnidirectional Video)、互動式立體影片(Interactive Stereo Video)、遠距醫 療(TeleHealth)、三維投影實境(3-D Holographic Projection)、娛樂(Entertainment)、虛 擬實物消費、體育實境、監控與通訊(Surveillance and Communication)等等。通常多視角影 片的取得是經由N個同步化的攝影機(Synchronized Cameras)針對同一個場景拍攝N個不同視角 而產生之視訊。若將各個角度所拍攝的影像利用現有的影像壓縮技術來進行個別壓縮及傳送， 則影像的資料量將隨著拍攝角度的增多而呈現倍數的成長。因此，伴隨多視角視訊應用的挑戰 是如何利用多視角影片視角間畫面的相關性來有效地降低傳送及儲存多視角影片所需的頻寬及 容量。 2.1.2多視角視訊編碼標準(Multi-View Video Coding Standard) 有鑒於多視角視訊漸漸受到重視，Moving Picture Expert Group (MPEG, ISO/IEC SC29/WG11)會 議於2001年成立三維視訊音訊專家群(3D Audio and Video Group)探討三維音訊視訊相關技術 。專家群創立初期，日本與韓國顯示器與消費電子大廠如Sony、Matsushita以及Samsung均投 入大量的研究人力積極開發。經過多年的研究後，數篇貢獻文件於2006年1月在泰國曼谷所舉 行的Call for Proposal of Multi-View Video Coding中證明：「相較於不同視角個別壓縮的 方法(Simulcast)，以不同視角畫面的相關性來編碼可以得到更好的壓縮效果」[36]。因此， 在2006年7月，MPEG於奧地利的第77次國際標準制訂研討會中宣佈多視角視訊編解碼(Multi-View Video Coding, MVC)為國際電信聯盟(International Telecommunication Union, ITU)與國際 1  Art  Entertainment   3D Virtual Reality Security  WiMax/3G/4G  3D TV Interactive free viewpoint TV  Sports IP Network Medicine Holographic Projection Cable Network Cabletron Switch  TelHealth  Multi-View Video Coding Figure 1: 多視角視訊編解碼應用示意圖。 標準組織(International Organization