网格运动和视差相联合的立体视频预测 a stereo video predictive method of joint mesh motion and disparity.pdfVIP

第15卷第2期 电路与系统学报 V01．15No．2 JOURNALOFCIRCUITSANDSYSTEMS 2010 2010年4月 April， 文章编号：1007-0249(2010)02-0100—07 网格运动和视差相联合的立体视频预测★ 焦卫东1,2， 卢朝阳2， 郭大波2， 张北航2 (1．中国民航大学智能信号与图像处理天津市重点实验室，天津300300； 2．西安电子科技大学综合业务网理论及关键技术国家重点实验室。陕西西安710071) 摘要t提出了一种基于网格的运动和视差相联合的立体视频预测算法。利用运动估计和视差估计中要保持网格拓 扑结构不变这一前提条件，由当前左图像及其网格，对当前右图像进行前向视差估计；然后利用形变后的嘲格和上一 帧右图像，对当前右图像进行后向运动估计：以三角形为预测单元，选择这两种预测中使得当前右图像中三角形的预 测误差较小的作为该三角形的最终预测，从而提高预测图像的质量。最后给出了该算法的一个简化算法：连续网格形 变的运动和视差相联合的立体视频预测算法。实验结果表明，该方法及其简化算法融入到立体视频编码系统后，在大 致相同的压缩比下所得到的解码图像的PSNR分别比基于网格的兼容性算法高出0．6dB和O．5dB，比MPEG-4TPS能 提供更好的主观质量。 关键词。立体视频；联合运动／视差估计；Delaunay三角形网格：连续网格形变 中图分类号tTP391 文献标识码tA 1 引言 立体视频利用两个通道的视频图像来连续描述一个场景的运动。同立体图像相比，它增加了场景 的运动信息。早期，人们并没有发现通过视差矢量可以部分地消除立体图像和视频中存在的冗余信息， 而是采用最直接的方式，也就是把它们当作两个独立的普通视频图像，使用现成的基于块的编码标准 之间时间方向上的相关性，并没有利用立体视频本身固有的特点，所以本文认为它并不能算作是“真 正”的立体视频编码算法。 后来，随着对立体图像的进一步研究，人们发现在左、右两幅图像之间存在一种固有的冗余信息 一视差矢量，它表示空间中一个点在左、右两个平面投影点之间空间上的位置差异。这种矢量类似但 不同于运动矢量，它可以利用立体视觉的基本理论进行估计使得估计结果更加准确。左通道采用普通 视频的基于块的编码标准来独立编码，而右通道中每一帧图像和同一时刻的左通道中的对应帧进行视 视差矢量这种冗余信息。但同前一种方法类似，它并没有兼顾考虑运动矢量。 这两种方法简单、成熟，是一些立体视频编码硬件系统的 首选，MPEG一4也把这两种方案作为备选方案进行测试。但是，，．11tS亥lJ 这两种方案都存在着明显的缺陷。视差估计和运动估计一个表 口口 示空间相关性，一个表示时域相关性，是两个互不矛盾的冗余 信息。对某些区域而言，运动估计可以得到更精确的预测图像， ，时刻 而对另一些区域而言视差估计可能优于运动估计。图1是一个 曰圉 极端的例子非常形象地表述了这种思想。图l中，左边表示左 芹通道 右通道 通道连续两帧的图像，右边表示右通道同一时刻对应的两帧图 图1一个极端的例子 像。图中的主要物体是一辆汽车，在卜1时刻的两幅图像中(上边)，汽车并没有完全投影到图像平面 +收稿日期·2008—02．26修订日期：2008．07．03 (ZXH20098008061074) 万方数据 第2期 焦卫东等：网格运动和视差相联合的立体视频预测 101 上，在t时刻由于运动使得汽车全部进入图像投影平面。在这个例子中，由于时域上连续的两帧存在 一些遮挡区域，所以对右通道序列使用运动估计不如视差估计好。同样，在其它一些例子中也存在视 差估计不如运动估计好的情