IP网络丢包条件下的H.264高清视频实时解码问题分析.docVIP

PAGE PAGE 1 IP网络丢包条件下的H.264高清视频实时解码问题分析 　　摘要：针对IP网络丢包条件下的H.264高清视频实时解码问题，本文通过对高清视频码流特征的分析，论述了一种实时错误的掩盖算法。此种方法的原理就是利用相应的技术手段收集丢失片的宏块数据，在权值的的选择时根据其垂直距离的平均值得到，然后进行加权矢量计算，实现对错误的覆盖。并以数学的计算方式，详细对算法的流程进行了分析，得出此种分析技术和传统的模型相比，不但节约了计算时间，而且得到的重构图像的质量较高，误差降低，适合在高清实时解码中推广。 　　关键字：IP网络丢包；H.264高清视频；实时解码 　　引言 　　随着视频处理技术以及输出水平的提高，在实时视频高清输出方面，对于720P以及超高清1080P的分辨率需求逐渐增多。想要实现此类高清视频的实时传输，一般需要在IP网络端提供8兆到10兆左右的高清H.264码流，但是这种技术的实现，通常会因为信道拥挤或者电磁扰动等引发IP视频丢包或者误码问题，严重影响图像解码的最终显示效果。如此以来，为了能够得到较高质量的输出视频就要在解码端进行掩盖技术的调整或者重构，尽可能达到人们对视频清晰度的要求。当前比较常见的错误掩盖算法有空域错误掩盖与时域错误掩盖两种。两种错误掩盖算法的主要区别就是空域错误掩盖利用的数学算法主要是双线性插值或者方向插值，时域错误掩盖则重视错误宏块的运动矢量的大小。比如，时域错误掩盖方式要求其运动矢量为零，但是其计算量相对较为有限，计算中也比较容易实现，从恢复效果上看，如果算法的矢量运动波动过大或者运动形式过于复杂，就很可能导致视频测错位输出，最终无法达到提高视频质量的目的。 　　1.解码问题分析概述 　　在以上算法的基础上，本文主要对高清视频码流的特征进行解析，并设计出运算量相对减少了的实时错误掩码算法。H.264高清视频的码流承载了高清视频码流之间分割的关键作用，进而把其中的高清序列通过缩放转化为较小的分辨率，这样其对配置的要求就会降低，那么就可以采用与之相对应的编码加以处理，码流中的宏块拥有其独立的运动分割特征，如图1.1所示。 　　从上图能够得到，分分辨率越大，码流中的16×16块所占的份额也就越多，但是相对应的8×8块所占的份额会越少。而在高清视频中，不但包含了运动形式比较复杂的宏块，还有许多采用8×8块或者相近的分割模块，所以，在对视频作错误掩盖的计算时，为了将实施效率和质量保持一致，需要把最小的错误掩盖单元设置为8×8块。 　　除此之外，笔者还对P帧码流进行了宏块间隔以及宏块之间的矢量运动差异做了相应分析，得到分析结果如图1.2所示。 　　从图1.2的分析结果能够得出，随着宏块之间具体的减小，宏块之间矢量运动的相关程度呈增加趋势。可以说，解码器能够根据宏块的间隔大小得出与之相关的宏块间距以及进行运算的掩盖错误数据。若把丢失片之上的非错误解码作为宏块的上边缘，那么其下方正确的解码就会变成对应宏块的下边缘。因为其在高清视频中主要表现为较长的带状，那么在其中丢失的IP片的上下边缘就比较接近，那么左右两边基本上很难得到因为距离的差异而产生的矢量相关度。基于上述分析，笔者认为可以直接把带状体的上、下边缘的距离作为数据估算的错误宏块的矢量，并以此进行错误宏块的重构。 　　2.高清视频实时解码的掩盖算法 　　2.1对矢量距离上的加权运动估计 　　如果出现丢失宏片的上、下两边同时出现的情况，那么根据上文笔者对宏块间隔和宏块矢量相关程度的分析，那么和错误宏块间隔距离较小的宏块数据会对错误掩盖的计算产生较大的辅助作用。本文将充分利用这一点，对矢量的垂直方向进行加权，其中权值通过矢量中数量平均值的方式进行确定，然后根据宏块中矢量的运动补偿功能，用经过计算之后的新宏块取代已被确定的错误宏块，如此以来就实现了对错误掩盖的功能。 　　如图2.1所示，设其中丢失宏片中正在被算法进行取代计算的错误宏块为X，那么和其相对应的正确解码就是图中的A（顶部宏块）、B（底部宏块）、C（顶部靠左宏块）、D（顶部靠右宏块）、E（底部靠左宏块）、F（底部考右宏块）。其中可以用8×8的子块作为错误掩盖的最小单元，并在各个子块中设置对应的具有矢量运动特征的错误掩盖。 　　下面笔者将以的子块为例，对各个子块进行矢量运动特征的分析，然后进而得到等。 　　仍然根据图2.1中的上边缘中的A、C、D进行子块的上边缘预测（为矢量）。设，如果宏块A存在垂直方向上的分割，那么；否则，。以上皆为矢量，然后对其进行均值与方差的计算得到： 　　我们再通过式（3）就能看出，由于方差的大小能够影响甚至决定到矢量的预测结果。若目前这3个矢量的方差比较小，那么就可以直接根据宏块A内部的第二个运动矢量，不然就要根据的中值来进行的预测。 　　同理，若使用图