深度视频及视频预处理技术【文献综述】.docVIP

宁波大学本科毕业设计（论文）系列表格 毕业设计文献综述 电子信息科学与技术 深度视频及视频预处理技术 摘要：多视点视频具有任意切换视点的特点，但由于稀疏的相机序列无法获得各个角度的视点，这就需要利用深度图来合成虚拟视点。对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位。本文主要介绍了深度图的特性，深度视频预处理的几种方法。 关键词：多视点视频；深度图；预处理 背景 1.1 多视点视频 多视点视频(Multi—View Video)是一种新型的具有立体感和交互操作功能的视频[1-4]，它通过多个视点的视频数据满足用户从多个角度选择和操作视听对象，提供了场景漫游的交互能力。 多视点视频信号是由一组平行、会聚或任意角度的相机阵列拍摄得到的视频信号。能提供拍摄场景不同角度的视频信息利，用其中的一个或多个视点信息可以合成任意视点的信息，达到自由切换任意视点的目的。为了满足多视点视频达到自由切换任意视点的目的，使用户可以切换到原本场景中并不存在的视点，我们必须通过获取深度图来绘制产生虚拟视点。 随着相机数目的增加， 多视点视频的数据量也成倍增加[ 5 ]，同样，所需传输的深度信息量也增加。因此需要研究有效的深度图像压缩方法，以缓解带宽压力。系统的一个挑战就是研究实现一种高效的多路编码传输机制， 从而对数据进行高效地压缩以便存储和传输视频序列。 1.2 深度图的特性 深度图获取主要有两种方式：1）通过深度相机获取；2）通过视差估计得到视差图，进而转换得到深度图。通过深度相机来获取深度图，由于价格等因素，现阶段无法商用化。因此，降低深度相机的成本是这方面努力的主要方向。通过深度估计算法来得到深度图，目前仍然存在着计算量大、效果达不到应用要求等问题，因此，需要提出一个满足应用需求的深度估计算法。另外，目前的深度估计算法仅适用于一维相机情况，因此，需要考虑不同的相机配置情况下，深度估计的问题。现阶段MPEG组织的主要目光就是集中在深度获取上。 深度图的特性应该从两个方面来讨论：（1）理论上深度图的特性；（2）现有深度图的特性。深度图与彩色图像相比具有纹理简单的特点。它只在对象边界处产生深度图值的跳变，而在对象内部以及背景部分保持平坦。对于相机固定的序列，背景的深度值应该保证不变。深度图的时空相关性要大于彩色图像的时空相关性。因此，采用H.264压缩标准压缩深度图和彩色图像时，深度图的压缩效率较高。深度图主要是用于绘制产生虚拟视点。不同的深度图区域对最终的绘制效果影响各异。其中，以深度图中边缘部分的影响最大[6-7]。所以深度压缩时应该保护深度边界的深度值。 1.3深度图的研究现状及发展趋势 在2007年以前，运动图像专家组（Moving Picture Experts Group,MPEG)组织主要研究视差信息，由于视差的局限性，深度信息开始被人们关注。并且现阶段是MPEG组织的主要研究方向。国外研究深度主要有GIST研究所，Nagoya大学，Philips公司等研究机构。国内如：西安电子科技大学，清华大学，宁波大学以及华为等机构在研究，并作出了不错的贡献。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。 预处理技术的方法 文献[8][8] 提出了基于视觉特性的视频压缩预处理方法的研究，本文讨论了利用人眼的视觉特性，对视频进行处理优化后再进行正常的编码压缩传输。实验结果表明，本文采用的预处理算法在提高压缩比的同时可以有效地保证视频质量；在对原始视频进行相同程度压缩时，本文算法预处理后获得的；既频主观质量明显好于原始直接压缩。 文献[9]提出了视频检测对象的图像预处理研究，本文主要针对视频检测对象的 图像预处理常用技术，包括图像灰度化、图像灰度修正、图像滤波、图像锐化，并对各种图像处理技术的常用方法进行了介绍，给出了实验结果并进行分析。 文献[10]提出了针对基于FPGA的视频图像预处理的算法研究，针对基于FPGA器件实现实时视频图像处理中原始视频数据与视频编码算法不兼容的问题，本文提出了一种离散缩放算法，通过它对原始图像进行预处理，能使图像缩放后仍具有自然分明的边界，达到较为理想的视觉效果，可以更好地通过FPGA器件进行后来的视频图像压缩。 文献[11]提出了基于运动补偿的视频预处理，针对预处理算法易在空域产生边缘模糊和在时域产生拖尾等图像扭曲现象，提出一种基于运动估计的时域滤波预处理算法。该方法通过运动补偿技术将时域滤波映射到空域进行处理，有效地去除视频序列时域不相关的细节信息，避免空域模糊和时域拖尾，达到降噪和提高编码效率的目的。实验结果表明，在同等视频质量PS