多视点视频编码方法研究.pdf

摘要 为满足视频场景自然和真实再现需求，具有3D视觉功能的多视点视频技术正越来越受到 学术界和工业界的重视，并成为近年来视频研究的热点之一。多视点视频蕴涵了景物的深度 信息，在自然场景的表征上更具真实感，在3D电视、自由视点电视、具有临场感的可视会议 及虚拟现实等领域展现了广阔的应用前景。然而多视点视频具有巨大的数据量，存贮和传输 十分困难，必须对其进行高效的压缩。在多视点视频中，除了各个视频流内具有很强的空间 和时间相关性，各视点之间也具有一定的交叉相关性，如何有效地利用这些相关性是提高多 视点视频编码效率的关键。为提高多视点视频的压缩效率，本文在多视点视频编码的预测框 架、运动与视差矢量的预测、基于颜色差异补偿的视差预测编码以及码率控制等方面进行了 研究。 本文首先分析了多视点视频中视差预测特性和各种相关性的相对大小，在此基础上，提 出了基于H．264的多视点视频编码方案，使用H．264的帧内方向预测和帧间多模式预测解除多 视点视频的空问相关性、时间相关性和交叉相关性。在视差预测中引入全局视差预测编码模 式，并将其集成到H．264的多模式预测编码中，提高了压缩效率；为减少编码视差矢量和运 动矢量所需的比特数，提出了改进的视差矢量和运动矢量预测方法，该方法除了利用视差矢 量和运动矢量的空间相关性，还利用了它们在相邻视点或相邻时刻的对应关系。另外，本文 还提出了一种基于分层结构的视差预测框架，使多视点视频码流具有“视点可分级”、“视 点随机访问”和“部分视点解码”的功能。 在多视点视频中，由于各摄像机所处方位不同的影响，接收到的光线强度存在差异，同 时各摄像机的增益、电平等也不能保证完全一致，导致实际获得的多视点视频图像之间存在 着颜色(包括亮度和色差信号)差别，从而严重影响多视点视频的压缩性能。为进一步提高多 视点视频的压缩效率，本文深入研究了基于颜色差异补偿的视差预测编码。在分析了不同视 点图像之间的颜色差异基础上，对其进行建模，然后根据对模型的简化程度，提出和实现了 多种基于颜色差异补偿的视差预测编码方法：全局线性颜色差异补偿、全局非线性颜色差异 补偿、局部颜色差异补偿、全局与局部自适应的颜色差异补偿。实验结果验证了本文的颜色 差异补偿方法明显改善了视差预测，提高了多视点视频的压缩效率。 玛率控制是视频编码中非常重要的技术之一，它是任何视频编码都不能回避的问题。对 于单视点视频编码，由于传统的多通道VBR码率控制算法计算复杂度高，不适用于实时视频 应用，本文提出了一种低复杂度的单通道VBR码率控制算法。该算法根据图像复杂度来分配 当前图像的目标比特数，算法中的模型参数随输入视频自适应更新，适应了视频的场景变化。 浙江大学博士学位论文 实验结果表明，该算法在满足码率条件下可获得相对稳定的视频质量。目前，对多视点视频 编码码率控制的研究尚未深入，本文提出了一种适合本文多视点视频编码方案的码率控制算 法。该算法根据每个视点图像的编码复杂度来分配图像的目标编码比特数；另外该算法为每 个视点的图像建立了独立的二次信源模型，能够精确控制每个视点的实际编码比特数。实验 结果表明，该算法能够有效地控制多视点视频的码率，同时获得了较高的编码效率。 关键词：多视点视频编码、视差预测、全局视差估计、颜色差异补偿、码率控制 Abstract Abstract Multi-view Call viewerswiththebenefitsofadded video，which realism,selective provide be usedinthe sc∞e fieldsof3D viewing,andimprovedunderstanding,will TV, widely