[多视点视频压缩.docVIP

多视点视频压缩 Exploiting Inter-Image Similarities. Markus Flierl and Bernd GirodInformation Systems Laboratory, Department of Electrical Engineering, Stanford University, Stanford, CA 94305. 显示器和照相机技术的发展刺激了3D场景通信的新应用。3DTV是这些应用中最重要的，它力求为所观察到的场景创建一个逼真的3D深度印象。通常情况下，多视点视频指的是由不同视点的多个摄像机从不同视角拍摄同一场景得到的一组视频信号，是一种有效的3D视频表示方法，能够更加生动地再现场景，提供立体感和交互功能。多视点视频的数据量随着摄像机的数目增加而线性增加。对于3DTV来说，大量的多视图视频数据需要存储或传输。在未来互联网应用中，多视点视频数据预计将消耗更多的带宽。这将包括的单播通信及组播通信。通过先进的多媒体内容分发交付网络和灵活的对等网络，将刺激多视图视频的需求以及现场广播。 对于3D场景通信来说,由于其巨大的多视点视频原始比特数据，我们必须采用高效的压缩技术。源于同一场景下的视频数据，可利用多视点图像的固有相似性进行高效压缩。这些相似之处可分为两种类型。首先，视点间的相关性是在相邻的摄像机视像中被观察到的。二，时间的相关性是在每个视频的时间连续图像里被观察到的。在众所周知单通道视频压缩编码中可通过运动补偿技术捕捉时间的相关性。扩展这个想法，基于多视图的视点间的相关性的视差补偿技术正是基于此思想进行视频压缩的。 基于多视点视频数据的设计数据压缩方案，我们必须考虑一些约束条件来构建其结构。在通信的情况下，多视点视频表示应该是可靠的传输。另外，理想的是这些表示是高度灵活的，即原始数据的子集可以很容易在不同图像质量等级被访问；用户的交互性的等级可以由一个特定的多视点视频表示来支持，将是一个按需应用的重要考虑因素。最后，重建视野的质量和其代表的比特率之间的权衡，将让人在处理庞大的数据量感兴趣。 多视点视频（Ｍｕｌｔｉ－ＶｉｅｗＶｉｄｅｏ，ＭＶＶ）是当前多媒体领域的研究热点，与传统的视频不同，多视点视频系统能够提供与场景的交互能力，增加了图像中景物的深度信息，它允许用户在一定范围内选择任意视点或视角观看，用户可以实现对同一场景的多方位体验，这充分满足了用户的交互性和个性化需求，使用户获得更加真实的视觉感受。多视点视频的提出体现了下一代多媒体应用真实感、交互性和网络化的发展方向，它将解决３Ｄ交互视频的表现、交互、存储和传输等问题，具有广泛的应用前景，其编码技术也在过去的几年中得到了飞速发展。 在多视点视频的发展过程中，有两项关键技术起着重要的作用并决定它能否被进一步应用。第一项关键技术是三维显示。为提高三维显示效果，使观察者能够得到“运动视差＂和“环视＂的效果，多视点三维显示技术成为近年来在显示技术方面的研究重点。目前己有方案中，大部分方案需要在图像分辨率与视点数目之间作折衷，不能得到人们期望的效果。新近提出的多投影机与凸透镜阵列结合使用的方案能够同时提供高分辨率的图像与大量的视点数目，受到众多研究者的青睐，并被认为能在不久的将来实现商业价值ｎ，。多视点视频发展的另一项关键技术是多视点视频内容的存储与传输。多视点视频和单通道视频相比，数据量成倍增加，所以必须采用更高效的编码压缩算法，才能对多视点视频数据进行存储和传输，同时随着人们对视频观看质量的提高，高分辨率、高清晰度、立体感和交互性是今后的趋势，这将带来数据量的急剧增加，仅仅依靠网络带宽的提高和存储容量的提升是无法解决这个问题的，还必须采用高效的编码压缩技术来解决这个问题。在过去的十几年中，全世界很多学者致力于该领域的研究。为得到高效的编码效率，他们提出的方案除了利用视频通道内的空间与时间相关性外，还利用了不同视频通道之间高度的相关性（称为交叉相关性）。早些时期，大部分的研究者提出的是针对立体视频的编码方案，然后将这些方案做简单的延伸应用于多视点视频；近几年间，由于多视点视频频应用前景的逐渐明朗，针对多视点视频的编码研究成为该领域内学者们的研究重点。 在剩下的篇章，我们将首先讨论利用图像间的相似性进行多视点视频压缩的重要性。然后，我们介绍多视点视频压缩的基本方法。一类算法以目前使用的预测编码视频压缩标准进行多个视图扩展。另一类算法采用自适应内次级分解和跨越不同的摄像机的视频序列。我们讨论的相对优势和这些压缩方法的缺点，当面对额外的限制，往往在实际系统中出现。 多视点视频图像 基于深度图的多视点3D立体视频系统具有数据量小、传输效率高、显示内容可自适应调节，用户交互性好等优点Matrix O