可分级视频编码中整帧丢失差错隐藏算法研究.docVIP

可分级视频编码中整帧丢失差错隐藏算法研究 　　摘 要：详述了基于H.264/AVC的可分级视频编码扩展SVC中的四种针对整帧丢失的差错隐藏算法。对这四种方法进行了实验仿真，并根据实验结果对这四种差错隐藏算法的性能和复杂度进行了理论分析和对比。 　　关键词：H.264/AVC； 视频压缩； 可分级视频编码 　　中图分类号：TN919.81文献标志码：A 　　文章编号：1001-3695(2007)06-0187-02 　　可分级视频编码（Scalable Video Coding，SVC）凭借其强有力的网络传输适应性吸引了世界各国视频专家的广泛关注。随着各种视频应用的普及，对视频编码的要求不再仅仅是单纯地追求高压缩率，而且还要求视频流能够很好地适应各种不同的网络环境和用户终端，并具有一定的容错性和可伸缩性。SVC编码方法就是针对这些新的视频编码要求而产生的一种新的编码机制，为具有不同需求的视频用户在异构的网络上有效地传输视频提供了保障。特别是对于那些事先无法知道用户的网络环境和系统资源（包括带宽、丢包率和QoS能力等）的情况下。?? 　　视频编码标准H.264/AVC在压缩效率上已经远远好于先前的标准。高压缩率和好的网络适应性均是H.264/AVC标准的主要目标［1］。如何在充分利用H.264/AVC的高压缩率的同时结合使用可分级编码技术是目前的一个研究热点。目前，联合视频专家组JVT（Joint Video Team）正在研究开发基于H.264/AVC的可伸缩视频编码技术SVC，并准备将其纳入到H.264/AVC标准的扩展中［2］。?? 　　 　　1 差错隐藏原理?? 　　差错隐藏是一种在解码器端实现的后处理技术，是一种重要的差错恢复工具。在网络传输发生错误时，应用差错隐藏可以大大提高重构视频的质量。差错隐藏方法主要是利用同一帧内和/或邻近帧内受损宏块与邻近宏块之间的相关性（包括时间相关性和空间相关性），以尽可能地恢复丢失的信息。通常的差错隐藏方法主要包括以下四种：?? 　　（1）频率域隐藏。由于受损块和空间邻近块的相关性很高，可以用邻近块的直流系数DC和几个最低频的交流系数AC来估计受损块相应的系数，而剩下的高频系数设为零。?? 　　（2）时域隐藏。利用低运动视频的相邻帧的时间相关性，使用邻近帧的数据来恢复当前帧的丢失信息。?? 　　（3）空间域隐藏。利用同一帧内相邻像素的相关性，通过空间内插的方法来恢复受损数据。因为受损块中的所有像素均需要计算，所以这种方法的复杂度最高。?? 　　（4）空间―时间域隐藏。利用邻近块的运动矢量（Motion Vector，MV）来估计受损块的MV，再利用此MV进行运动补偿（Motion Compensation，MC）来恢复受损块。这种方法同时利用了空间和时间相关性。但是当邻近块是帧内编码时，其差错隐藏的效果会下降。?? 　　 　　2 SVC的整帧丢失差错隐藏算法?? 　　对于SVC的视频流来说，由于视频流是分级的，具有多个编码层，在SVC中的差错隐藏除了可以利用上面的这些方法外，还可以利用不同视频编码层之间的相关性来进行差错隐藏。为简单起见，只讨论具有两级空间层的情况，即空间基本层和空间增强层。差错隐藏也同样分为基本层差错隐藏和增强层差错隐藏。对于增强层差错隐藏又分为基本层没有包丢失和基本层有包丢失两种情况。?? 　　首先来讨论一下帧丢失的检测。如果空间基本层的传输没有保障，一个或多个帧丢失的检测可以利用frame_num值的不连续和GopSize的计算来得到。如果基本层的传输是有保障的，那么帧丢失检测可以通过检查NAL类型是否完全来得到。在这里需要注意的是：如果一个基本层的包被丢失的话，其相应的增强层的数据包被认为是非法的，并且也将被当做丢失来处理。?? 　　2.1 基本算法?? 　　下面讨论四种基本的SVC整帧丢失差错隐藏算法：帧拷贝(FC)、时间直接模式运动估计(TD)、设置Skip模式方法(Skip)和重构基本层上采样方法（RU）［2，3］。其中的设置BlSkip模式和重构基本层上采样算法仅能用于空间增强层的差错隐藏，而帧拷贝和时间直接模式运动估计算法既可用于空间增强层，又可以用于空间基本层。?? 　　（1）帧拷贝方法：被隐藏帧中的每个像素值均拷贝于参考列表list_0中的第一个帧中对应的像素值。这个被差错隐藏后的帧不仅被用于显示，还被用来作为解码后面图像的参考帧。这个算法既能用于基本层也能用于增强层。因为在可分级编码机制中，并不是所有的基本层图像均需要解码，所以当基本层有丢失帧时，仅当需要解码低分辨率视频序列时才使用FC算法进行差错隐藏。对于空间增强层，参考列表list_0中的图像帧由增强层的解码过程产生，并且是一个高分辨率的图像。??