多视点视频编码方案及其差错控制技术研究.docVIP

多视点视频编码方案及其差错控制技术研究 　　摘要 随着近年来三维视频的普及，三维视频编码技术也逐渐成为视频研究领域的热点。由于三维视频编码结构基本都采用视差估计来消除视点间的信息冗余，导致其对网络信道传输的差错格外敏感，因此便产生了针对多视点视频的差错控制技术。联合视频编码小组为三维视频定义了基准编码方案、联播编码模型和联合多视点视频三套视频编码方案。本文着重研究了现有的多视点视频的差错掩盖技术以及JMVC编码方案。 　　关键词 多视点视频；差错控制；编码方案 　　中图分类号TP39 文献标识码A 文章编号 1674-6708（2012）79-0193-02 　　0 引言 　　目前几乎所有的三维视频编码方案基本都采用时间预测，空间预测和视点间的预测，来消除空域、时域以及视点间的信息冗余，而目前异构性网络又具有时变，易错等不利因素使得编码的三维视频流对信道差错非常脆弱。所以，对三维视频传输进行差错控制就显得尤为重要。 　　作为执行H.264标准的一部分，JVT定义的JMVC方案因采用分层B帧预测结构而有着更高的编码效率，所以在研究领域被更多采用，但其工程文件繁多，代码结构复杂，为了让更多初识多视点视频的研究者更快的熟悉该编码方案，本文从模块结构和编码流程图角度出发介绍其主要功能和运行方式。 　　本文主要分为两个部分，第一部分介绍多视点视频的分类及其差错控制技术，第二部分主要介绍了JMVC编码方案各模块运行方法和模块介绍。 　　1 基于多视点视频的差错控制技术 　　1.1基于分层B帧结构的差错控制技术 　　根据分层B预测结构的特点，Ulrich Fecker[1]提出中将这种三维度频率选择性外插的算法应用到多视点视频中，结合多视频的特点提出一种适合多视频的误码掩盖四维度频率选择性外插算法，该算法利用丢失宏块周围正确接收的宏块数据和同一视点时域上的前后帧视频序列信息加上邻近视点的信息来恢复丢失宏块，但因为此算法需要构造一个四维正交函数，算法复杂度较高，因此不太适合实时的解码。文献[2]对多视点视频中的整帧丢失提出帧相似度的概念，当相似度高于某个阀值时采用空域中的参考帧对丢失帧进行整帧拷贝；当相似度低于某个阀值时采用时域中的整帧拷贝；当相似度介于两个阀值之间，则利用时域中的相似宏块和空域中的匹配宏块对丢失帧进行重建恢复。 　　1.2基于双目预测结构的误码掩盖技术 　　另一种结构被称为双目预测结构，即立体视频，立体视频由左，右两个试点构成，其中左视点使用运动补偿预测消除时间域上的的数据冗余，右视点采用运动信息补偿加视差信息补偿消除时域和视点间的冗余。 　　文献[3]提出基于互查的误码恢复的评判准则在时域误码掩盖以及视点间的误码掩盖算法中选择一种最佳的误码掩盖算法对丢失宏块进行恢复，其中视点间的误码掩盖算法是利用了可见评判绘制工具，从左右视点中得到的正确解码的图像数据与深度数据来绘制整个丢失的彩色信息帧。 　　2 JMVC（多视点视频联合编码方案） 　　JMVC，多视点视频联合编码方案，是由MPEG和VCEG的JVT团队推出的参考编码方案，其主要语言是C++，由于多视点视频编码工程本身在改进和变化，所以该方案也仍在开发中。 　　2.1 JMVC的获取方法 　　使用开源CVS软件来获取最新版本的JMVC软件。输入配置后，点击获取列表，获得模块列表，从中选择“JMVC”模块。 　　2.2 JMVC的运行平台 　　JMVC 可在Windows 和linux 两种平台上运行 　　Windows平台下的相应的工程文件在目录JMVC＼H264Extension＼build中。 　　该目录下包含一个H264AVCVideoEncDec.sln工程， 该 文 件 即 为JMVC 的 工 程 文 件，使用Microsoft Visual Studio .NET的编译器打开。其运行后的结果相应地存放在主目录的bin和lib目录下。该目录下也包含一个VC6的工程文件H264AVCVideoEncDec.dsw，但该版本未经更新，不建议使用。 　　2.3 JMVC各模块介绍 　　JMVC整个工程包含4个库和6个可执行的工具.四个库的工程执行后，相应的.lib文件存放在主目录的lib目录下： 　　1）H264AVCCommonLibStatic 　　该库是编码器和解码器的公用库，其中包含了很多类的定义，例如宏块的数据结构，序列参数集，图片参数集，图像数据的存取与访问，以及DCT变换、量化、去方块滤波等算法。 　　2）H264AVCDecoderLibStatic 　　该库主要提供了解码器所需的类，例如码流解析，熵解码等。 　　3）H264AVCEncoderLibStatic 　　该库主要提供了编码器所需的类，例如运动估计，模式选择，熵编码等。 　　4）H26