基于运动时空相关性的视频编码及质量评价技术研究.PDFVIP

摘 要 随着多媒体技术、互联网技术、移动通信技术和 VLSI 技术的飞速发展，数字视频 在人们日常生活中扮演着越来越重要的角色。数字视频资源的爆炸式增长和新应用需求 的不断涌现，向视频压缩、传输、处理、显示、存储等环节都提出了更加严峻的挑战。 运动是数字视频中非常重要的特征，对视频中运动的建模、估计以及处理一直是计算机 视觉和多媒体技术领域研究的热点，因为它们在诸多视频应用的中都发挥着非常重要的 作用。例如，从最早的国际视频编码标准 H.120 开始，运动估计/补偿作为去除视频时域 冗余的最有效手段，一直被后续的 H.26x，MPEG 系列标准所沿用和改进；在视频恢复/ 增强的应用中，视频中运动轨迹上的时域相关性一直是用于解决病态问题的重要先验规 律；在视频检索、分析等应用中，运动特征通常是视频特征向量中最重要的特征；近年 来，很多学者开始研究人眼视觉系统(HVS)对视频中运动的感知原理和特性，基于主观 视觉感受的压缩算法将成为视频编码领域未来几十年的研究热点。本文以视频中的运动 为切入点，探索了视频中运动场的时空相关特性，分析了在视频编码、处理和质量评价 等具体视频应用中，现有运动建模方法和运动估计算法的理论和技术缺陷，并提出了相 应的解决和改进方案。本文的主要创新点包括： 1. 基于运动时空相关性的跳过/直接编码模式 运动预测/补偿是视频压缩的重要技术，压缩码流中的相当一部分比例用于传输运动 信息，在低码率情况下，尤其对于高清视频，用于表示运动信息所耗费的比特往往超过 总码流的 50%。为了减小运动信息所占的比特数，H.264/AVC 等编码标准中支持 SKIP 或 DIRECT 编码模式，允许不传输运动信息，而是通过某种既定规则将运动信息导出。 然而，现有的导出方式都过于简单，未能充分利用运动矢量场在时域上的相关性。本文 提出了增强型的 P 帧和 B 帧跳过/直接编码模式。具体地讲，这些模式的运动矢量从一 组候选的时空相邻已编码/解码宏块的运动矢量中选出，选择的标准是该运动矢量应最小 化一个基于运动时空相关性的能量函数。编解码端使用相同的导出规则获取运动矢量， 因而在码流中无需传输运动矢量索引信息。本文提出的编码模式更有效地利用了运动矢 量场的时空相关性，因此，更多的宏块采用了这些编码模式，显著降低了运动信息所占 的比特数，提高了压缩性能。 2. 视频编码中率失真帧间依赖性研究 H.264/AVC 等主流视频编码标准都采纳了基于运动估计/补偿的环路编码框架。由于 当前编码帧的率失真曲线会依赖于其参考帧的重构质量，因此，如何将有限的码率资源 分配给 GOP 中的各帧，从而达到总体率失真性能的最优，是一个非常具有挑战性的问 题。本文研究了运动补偿后残差 DCT 系数的分布特性，通过分析发现编码失真的帧间 I 基于运动时空相关性的视频编码及质量评价技术研究： 摘要 依赖性会随着码率的增加而降低。实验结果与该理论得到了很好的吻合。基于这个规律 和大量实验，我们对实际编码中量化参数的配置给出了一个经验性的建议。 3. 基于贝叶斯运动的帧率提升算法 帧率提升是一种典型的视频后处理应用。基于运动补偿的帧间插值（MCFI，Motion Compensation Frame Interpolation ）是当前最主流帧率上采样 (FRUC ，Frame Rate Up Conversion)技术框架，而运动估计的准确性是该类算法的关键所在。本文分析和总结了 FRUC 技术的发展历程和现有主流算法中运动估计模块仍然存在的技术缺陷。针对这些 缺陷，本文提出了一种新的基于贝叶斯框架的运动估计算法。我们将整帧运动矢量场的 求解建模为一个最大后验概率（MAP ）问题，并且通过置信传递（belief propagation ）进 行求解。通过对运动矢量场先验知识的充分利用和对整个运动矢量场的同步求解，该算 法可以获得比传统方法更为准确的运动矢量。最后，通过自适应的重叠块运动补偿 （OMBC ），可以进一步消除运动矢量不可靠区域的块效应。作为独立的运动估计模块， 该算法也可以应用到其它视频处理技术中，如视频去噪、超分辨率等。 4. 基于时空结构特征的视频质量评价算法 如何处理视频中的运动信息和时域失真是视频质量评价的一个重要问题。现有