多视点视频编码快速帧间的模式选择算法.docVIP

多视点视频编码快速帧间的模式选择算法 　　摘要：为解决多视点视频编码（MVC）可变尺寸块的模式选择计算复杂度过大的问题，提出了基于模式复杂度的多视点视频编码快速模式选择算法。该算法首先分析了多视点视频编码参考模型（JMVC）中各尺寸块的分布特点。然后，提出模式复杂度的概念以确定当前宏块的模式特征。最后，将宏块分成3个不同的模式类型：如果当前宏块属于简单模式，那么仅16×16分块被检查，其他分块均跳过；若当前宏块属于中等模式，则8×8块被跳过；若当前宏块属于复杂模式，所有模式分块都要检查。这样算法对那些不必要的模式选择过程就可以提前终止，从而使得计算量大大减少。实验结果表明：所提算法能保持同JMVC中全搜索算法几乎相同的编码效率，同时使计算复杂度减少62.75%。 　　关键词：多视点视频编码；模式选择；模式复杂度；变尺寸块；帧间预测 　　中图分类号：TN919.8文献标志码：A 　　0引言 　　多视点视频（MultiViewVideo，MVV）因其能给人以强烈的立体感和交互性，能更加生动地再现场景[1-2]，在工业和学术界越来越多地受到关注。多视点视频编码在自由视点电视（FreeviewpointTelevision，FTV）、三维电视（ThreeDimensionalTelevision，3DTV）、家庭娱乐、教育、虚拟现实及远程医学诊疗等领域有着广泛的应用前景。同传统的单视点视频相比，多视点视频的数据量巨大，且会随着摄像机数目的增加而成倍增加。巨大的数据量对存储和传输提出了更高的要求，已经成为制约多视点视频编码（MultiviewVideoCoding，MVC）实际应用的瓶颈。因此，为了将多视点视频应用到实际系统中，必须对MVV进行有效的视频压缩编码。 　　由视频编码专家组（VideoCodingExpertsGroup，VCEG）和运动图像专家组（MotionPictureExpertsGroup，MPEG）组成的联合视频组（JointVideoTeam，JVT）提出了H.264的扩展标准——多视点视频编码标准[3]，在JVT第27次会议上，公布了标准的多视点视频编码软件（JointMultiviewVideoCoding，JMVC），作为多视点视频编码的研究平台。在JMVC中，除了具有同一视点的运动估计外，还引入了视点间的视差估计以消除视点间的冗余。此外，为获得更高的图像质量，JMVC采用分层B帧（HierarchicalBPictures，HBP）结构[4]、全搜索算法和率失真优化函数等，这些方法可获得较高的编码图像质量，但同时也引入了极其高的计算复杂度，影响了其编码速度，阻碍了多视点视频的应用。为降低计算复杂度，国内外已有学者提出各种模式选择算法[5-9]。Ding等[5]提出一种基于视点相关性的内容感知模式选择方法，根据对应宏块的编码信息来决定视差估计是否启用，但该算法仅考虑相邻视点的相关性，并未考虑其他相关性。Huo等[6]提出一种可伸缩的预测结构，此方法可以自适应地跳过运动估计过程，然此算法只对单一模式进行优化，其计算量的减少有限。Zhu等[7]基于纹理分割和视点相关性提出快速帧间模式选择算法，实验结果表明算法使得计算量得到有效降低。但该算法需要借助Intra模式率失真代价来区分不同的纹理区域，增加了额外的比特率，使用范围也受到一定的限制。Peng等[8]基于对不同运动测试序列的统计测量值的分析，提出用三个阈值来提前结束模式选择的三步策略。然而该算法主要利用视点内模式间的相关性，并没有进一步考虑利用视点之间编码信息的相关性来降低计算复杂度。Shen等[9]根据相邻视点的模式分布相关性，提出一种快速帧间模式选择算法，但此算法仅利用相邻视点模式之间的相关性信息，并未考虑空间和时间上模式之间的相关性，且相邻宏块对当前宏块的不同影响也未考虑。 　　基于对现有算法的分析，本文在分析了JMVC中各模式分布情况的基础上，提出一种基于模式复杂度的快速模式选择算法。本文算法充分利用了空间、时间和视点间的相关性信息，同时考虑了不同位置宏块对当前宏块影响程度的不同。算法根据所定义的模式复杂度将宏块分成3个不同的模式类型，每种类型仅检查相对应的模式分块，其余不必要的模式选择过程可以提前终止，从而使计算量得到有效的降低。实验结果表明，该算法在保证图像质量基本不变的情况下，能显著地减少模式选择的数目，从而提高多视点视频编码的编码速度。 　　1MVC模式选择及分布情况 　　1.1JMVC模式选择算法 　　为了达到更高的编码效率，MVC提供多个变尺寸块预测模式以消除多视点视频之间的时间、空间及视点间的冗余。对可变块运动估计（MotionEstimation，ME）和视差估计（DisparityEstimation，DE）