MPEG+3DAV全方位的交互式三维音视频体系研究.pdfVIP

B数字电视与数字化改造 MPEG 3DAV—全方位的交互式三维音视频体系 中国传媒大学信息工程学院韩子丹，张岳 摘要：三维音视频技术的进一步发展及其商业化应用的进一步推广都需要对整个三维系统的应 3DAVI作组通过大量的技术评估和实验 用体系、数据格式、硬件规范等进行标准化的工作。MPEG 演示，对j维音视频系统的应用范畴和需要标准化的组件进行了明确的定义，同时也明确了现有的 MPEG标准和工具在置维应用中的适用性和可用性。 关键词：3DAV；全向影像；交互立体影像；自由视点影像；探索实验 1引言 人类生活在一个三维的世界里。我们可以感受到高度，宽度和深度，再加上声音和色彩信息就 在我们的脑中重建j_l{了所在的世界。传统的影音技术只能以二维图像的形式呈现真实世界，我们只 能通过经验从中获取深度信息。即使所谓的三维游戏也是由二维显示器进行显示的。传统的二维影 像与真实世界的另一个显著区别是交互性，在真实世界中人们可以自由地选择自己的位置和观看方 向，而这是传统技术所无法实现的。 经过大量的研究和实验工作，现在的技术终于达到了可以对真实世界进行较为逼真地呈现的水 平。三维物体可以通过从真实世界获取的图像重建，三维的声音信息也可由真实环境采集的声音中 重建。这些重建的视音频可以为用户还原出三维场景的感受，在真正的动态视音频场景中还可以动 态地选择视点和方向。很多企业都对开发三维采集和显示设备表现出浓厚的兴趣。例如索尼、夏普 和三洋就建立了三维联盟f3DConsortium)，其目标是通过开发和扩展用于■维显示的输入筋出设备来 开拓三维技术的潜在市场，改善制作和发布三维影像内容的环境，推动这种新技术的商业应用。 一个三维影像系统的完整处理过程可分为图像采集、场景描述、编码、传输／流化，以及交互显 示。所有这些部分的互操作都需要有效而统一的描述、编码和传输格式。另外为了保证各公司下具 和设备的互操作性，同样需要一个标准化过程。 2 MPEG3DAV工作组 的工具．但其中很多对三维音视频应用而言是不完整或缺乏效率的。因此，MPEG专门建立了一个工 作组(Ad—hocGroup，AhG)对此问题进行研究，其成员大多为来自研究机构、大学和公司的代表。 3DAVI作组的主要任务是定义j维音视频的研究范围、相关的应用框架、在应用中需要标准化 的组件、对这些组件的需求，以及这螳需求与现有的和即将制订的MPEG参y,准的关系。1二作组对现有 工具的有效性及新技术的适宜度进行了大量的研究，同时也参考了企业界对新技术的关注程度。目 前工作组的成果主要包括一系列对三维音视频技术的使用的演示，以及两篇文章——“三维音视频的 and for on3DAV Requirements3DAV)[1】和“三维音视频探索报告“(Report 应用和需求”(At，plicatians OH 3DAV仂Ⅱ以完善。 3 3DAV的应用体系与标准化需求 3．1应用体系 189 2005年中国数字电视与网络发展高峰论坛 China TVCableNetSummit2005 DigitM 8数字电视与数字化改造 3DAVI作组将i维音视频划分为3个主要应用体系： 1．全向影像(Omni—directionalVideo)． 全向影像将二维平面的画面推广至球面、圆柱面甚至双曲面进行显示。通过在一个确定的视点 (可随时间移动)进行视频流的全方向采集，可以对任意一个方向的二维嘶面进行渲染。 2． Stereo 交互立体影像(InteractiveVideo)． 这一应用通过为用户的左右眼分别渲染一幅画面而产生立体感。对头部运动视差的调整支持使 得