基于参考帧视频播放超分辨率放大算法.docVIP

基于参考帧视频播放超分辨率放大算法 　　摘要：利用连续视频各帧之间的时域和空域相关性，在视频播放超分辨率插值放大重建时，主要对I帧进行边缘检测插值，而对P帧和B帧图像的插值则参考I帧的插值结果，从而提高整个视频播放的主观质量，计算量也不大。实验结果表明，本算法对提高每帧图像以及整体视频主观质量均有明显效果，大大减少了播放时由于视频的放大而出现的块状和锯齿状等失真。?? 　　关键词：视频播放； 超分辨率； 插值； 参考帧 　　中图分类号：TP391文献标志码：A 　　文章编号：1001－3695(2007)08－0178－03 　　 　　0引言?? 　　 　　传统的视频回放放大技术，往往只对视频帧每个像素进行像素复制，用相同的像素值来填充放大后的空白像素位置。当显示屏幕变得很大、显示分辨率变得很高的情况下，由于视频本身的分辨率不够大，视频一经放大，一个像素点就被复制到周围多个像素位置，这样就使得图像块状和锯齿状等失真明显化。 　　同时，由于成像设备、数据压缩等原因，不可能无限制地增大捕获视频的分辨率。而视频压缩编码阶段所作的处理也不适合增大视频分辨率，因而大多在解码回放阶段视频帧重建之前通过像素插值提高视频帧的显示分辨率来提高显示清晰度，这就是所谓的超分辨率重构技术。?? 　　在单帧图像和图像序列的超分辨率重构技术领域，有很多文献均有很好的研究。常见的图像插值算法有最邻域插值、双线性插值、三次样条插值，以及局部自适应放大算法[1]等,这些经典算法均取得了很好的插值效果。边缘细节包含图像的重要信息，消除边缘细节模糊是提高插值图像整体视觉效果的关键。为了改进这些经典算法在处理边缘、纹理细节时的模糊等不足，文献[2]提出了边缘插值方法，采用模糊算法, 按周围像素点权重进行插值；文献[3]提出一种局域自适应非线性插值算法（LAI）；另外还有基于最小二乘的方法[4]、Bayesian方法[5,6]、基于凸集投影[7]的方法等。这些方法使超分辨率图像重建得到了更广泛的应用。?? 　　在视频超分辨率重构技术领域，Patti等人[9]提出一种在图像序列重构模型中增加MPEG量化级再使用POCS的方法，Chen等人[8]提出了一种改造的非压缩图像的方法并应用到压缩视频领域，Segall等人[10]则综合前两种方法的优点,提出了一种重构效果良好的新算法，等等。这些方法大多都是把图像处理领域的技术加以改进后再应用到连续视频的每一帧图像处理中。由于视频播放的实时性要求，对所有回放视频帧均应用计算很复杂的图像插值算法是不现实的。如果利用连续视频帧与帧之间高度相关性来对视频进行插值放大，即基于参考帧进行视频图像超分辨率重构，那么计算量将可能会大大减少，相对而言，这方面的研究却还比较少。?? 　　针对视频放大传统算法对连续视频帧与帧之间高度相关性的忽视，本文提出了一种基于参考帧提高回放视频帧空间分辨率的新算法。该算法根据压缩视频当前帧和参考帧之间的相关性，视频解码回放时，当前帧放大重建算法通过参考其相应的参考帧空间分辨率提高的算法来提高当前帧的空间分辨率，从而达到回放视频整体空间分辨率提高的目的。实验表明，本文所提算法是有效的。?? 　　 　　1视频超分辨率重建算法思想?? 　　 　　视频压缩编码的时域模型中，当前帧减去预测帧得到残差图像，残差图像经过编码后被传输到解码器。在解码端解码播放时，残差图像通过与相应的预测帧相加来恢复重建当前帧图像。这种预测帧就被称为参考帧，它可以是一帧或多帧之前或之后的图像。参考帧本身的编码方式有帧内编码（I帧）和帧间编码两种方式。帧间编码图像又分为P帧和B帧。P帧图像只以I帧作为参考，B帧图像则同时参考I帧和P帧，并且P帧和B帧图像中所有像素点全部都参考相应的参考帧。视频压缩参考帧存在的主要原因，就是利用了连续视频帧与帧之间的高度相似性，理论上当前帧的主要信息在其参考帧中都可以找到，这样才使得用于传输的残差图像的能量最小，从而能够达到压缩的目的。因此可以认为，P帧和B帧图像中的边缘、纹理等细节，也存在于其参考帧（I帧或P帧）中相应的参考位置。这样可以对作为参考帧（帧内编码）的视频帧图像进行较复杂高效的插值放大算法，而对残差图像只作较简单的插值，然后再与参考帧进行残差逆运算以重建该帧图像。?? 　　从以上的分析中，得到了基于参考帧的视频超分辨率放大算法。本文对I帧视频帧图像采用图像边缘检测插值技术进行超分辨率重建，力图保持其边缘细节；对于P帧和B帧，首先采用双线性插值算法对其残差图像进行插值放大；然后以块为单位，再与已经放大重建后的I（P）帧中的相应运动补偿块进行残差逆运算，从而大大减少P帧和B帧的边缘检测复杂度，提高视频超分辨率重建的效率。?? 　　算法基本思想大致概括如下：?? 　　a