基于三维动态点采样的自由视点影像系统研究.pdfVIP

B数字电视与数字化改造 基于三维动态点采样的自由视点影像系统 中国传媒大学信息工程学院 张岳，韩子丹 摘要：自由视点影像是下一代视频应用中的重要组成部分，通过在自由视点影像系统中使用三 维点采样作为基本图元，可以把传统二维视频处理的简便性与自由视点影像对复杂三维对象的描述 能力结合起来。在点采样的基础上引入基于帧间预测的差分式更新机制以及动态摄像机控制等措施． 可以进一步增强自由视点影像系统的实时性和运行效率。 关键词：自由视点影像；点采样；三维模型重建；差分式更新操作 1引言 三维音视频是下一代媒体技术的一个革命性的发展方向。与传统的二维影像技术相比，三维音 视频不仅能够产生真实的深度感，重建出一个真实的三维场景，而且还能够提供现有技术所无法具 备的交互能力，因此在广播、娱乐、虚拟现实等领域都有着广阔的应用前景，也吸引了越来越多的 lYl成立的MPEG3DAV 企业和组织投人其中。其中有代表性的包括于2001年1 Ad—hoeI作组(AhG)， 专门从事三维音视频技术的研究和评估工作。以及由多所美国大学正在进行的“国家虚拟实境先导 Tele-Immersion 计划”fNafional Initiative)等。在各种类型的三维音视频技术中，自由视点影像口rm Viewpoint Video)是极具前途，同时也是最具通用性和富有挑战性的应用框架。它可以允许用户在一 个音视频场景中自由地选择视点和方向，从而实现了完全意义上的的交互性。 在目前阶段，稳定地生成和传输实时的三维音视频仍然是一项富有挑战性的工作，作为其中的 一个重要组成部分，对于生成的三维视频数据的编码和压缩还有很大的探索空间。目前，对三维数 据的渲染和压缩主要集中在基于网格的方法上，而相比于网格描述以及其它的描述形式，基于点采 样的三维视频描述有很多特有的优势。这种通用的描述方式能用于任何从画面中提取几何信息的实 时三维重建方法，同时还能以统一的方式处理三维表面的几何及外观信息。因此，近年来点采样作 为三维数据描述的基本图元正处于复兴阶段，已成为新的研究热点。 2背景与研究现状 2．1自由视点影像殛相关技术 自由视点影像是MPEG3DAV3j作组定义的j三个主要应用体系之--[11。其目的是从经过同步的多 个视频流中重建所拍摄的三维场景，从而允许观看者在一个音视频场景中选择任意的视点和观看方 向，创建出一个“沉浸式”的环境。图l是由一个自由视点影像系统生成的三个不同角度画面。自由 和三维模型重建方法两大部分。其中对光线空间方法的关注由于其实用性方面的问题(摄像机定标， 数据量)而有所减少，而三维模型重建方法则恰恰可以使用数量较少(2到30个)的摄像机对视频场景 进行相对稀疏的采样，这也是它的主要优点之一。对三维信息的重建主要是通过从轮廓中提取形状 的方法，这种方法需要对物体的可视外壳(visualhulls)进行大致的计算。而对可视外壳的描述可以选 择基于多面体[2】、图像[3】、点采样、以及体(volumetric)描述[4】等多种描述方式。 83 2005年中国数字电视与网络发展高峰论坛 2005 China TV＆CableNetSummit Digital —— !墼兰皇塑皇墼羔些整垄 图1自由视点影像系统生成的不同角度画面 2．2现有点采样方法及相关标准 虽然已经有很多方法能够快速且高质量地渲染点采样几何对象，但它们当中却很少具备有效地 处理动态变化的物体和场景的能力。例女llsurfel系统[5】对一个物体的三个正交分层深度图像(LDrJ进行 采样，从而得到一个树状的分层深度立方(LDc擞据结构。这种方法很适用于渐进式渲染，但当场景 中的对象发生变化时必须完全重建。表面Splatting方法[6]邂}过一个高质量的交互式软件渲染器对 surfel系统进行了扩展，这个渲染器主要基于一个屏幕空间方程以及用