基于结构张量的视频超分辨率算法.docVIP

基于结构张量的视频超分辨率算法 　　摘要：针对传统正则化超分辨率（SR）重建模型中，正则化参数选择过大会使重建结果模糊，导致边缘和纹理等细节丢失，选择过小模型去噪能力又不足的问题，提出一种基于结构张量的双正则化参数的视频超分辨率重建算法。首先，利用局部结构张量对图像进行平滑区域和边缘的检测；然后，利用差异曲率对全变分（TV）进行先验信息加权；最后，对平滑区域和边缘采用不同的正则化参数进行超分辨率重建。实验数据显示提出的算法将峰值信噪比（PSNR）提高了0.033～0.11dB，具有较好的重建效果。实验结果表明：该算法能够有效地提升低分辨率（LR）视频帧重建效果，可应用于低分辨率视频增强、车牌识别和视频监控中感兴趣目标增强等方面。 　　关键词： 　　超分辨率；帧序列；结构张量；双正则化参数；全变分加权 　　中图分类号： TP301.6； TP391.413 文献标志码：A 　　0引言 　　超分辨率（Super Resolution， SR）是利用一帧或多帧退化的低分辨率（Low Resolution， LR）图像，通过相应算法进行重建、融合形成一幅高分辨率（High Resolution， HR）图像的技术，在医学、遥感、刑事侦查、军事等领域有着广泛应用[1]，尤其是在视频监控中。视频监控中常常会出现因摄像头分辨率低、摄像头距离目标较远、带宽不足等原因导致画面中感兴趣目标模糊不清，如车牌难以辨识、人脸不清晰等，因此，随着智能安防、智慧城市的发展，近几年来，视频超分辨率成为图像处理领域的研究热点。 　　视频超分辨率是由LR帧序列重建形成HR帧序列的技术。超分辨率技术可以分为基于插值的、基于重建的和基于学习的三种。其中基于重建的正则化法是SR的研究重点。由于超分辨率重建问题是一个病态反演问题，重建的结果不确定，而将引入先验信息约束项的正则化法用于SR重建，可以得到确定的唯一解[2]，因此，一些基于正则化的SR重建方法相继被提出，常用的正则化法有Tikhonov[3]、全变分（Total Variation， TV）[4]、双边滤波全变分（Bilateral Total Variation， BTV）[5]、空域信息加权的全变分（Spatial Weight Total Variation， SWTV）[6]、自适应全变分[7-9]等。Tikhonov正则化法可以增强重建图像的平滑度，但丢失了LR图像的细节信息，导致重建图像边缘模糊；TV正则化法引入先验信息约束项，可以在抑制噪声的同时，很好地保持边缘和细节信息，但当正则化参数过大时，在平滑区域降噪的同时易形成阶梯效应[10]；BTV正则化能更好地保持边缘细节，但未能考虑图像的局部平滑信息，且自适应能力有限；SWTV算法则提出利用图像空域的先验信息对全变分进行加权，该方法在平滑区域给予全变分较大的权重，在边缘区域（包括纹理细节部分）给予全变分较小的权重，以此达到全局正则化参数在平滑区域和边缘区域起到不同的控制作用，但其正则化参数仍为全局参数，不能很好地平衡降噪和保持细节。本文提出一种改进的全变分正则化视频SR重建算法，首先利用局部结构张量对图像进行平滑区域和边缘的检测，同时引入比梯度信息更有效的差异曲率[11]进行正则化项加权；然后利用两个不同的正则化参数控制平滑区域和边缘的正则化项；最后利用最速下降法迭代求解重建后的HR帧。实验结果表明本文算法具有较好的重建效果，在抑制噪声的同时能够较好地保持细节信息。 　　1全变分正则化SR模型 　　超分辨率重建是个典型的反演问题，在由已知的LR帧获取HR帧时，LR帧可以看作是HR帧经过图1的观测模型退化而来，即LR帧是由HR帧经过几何运动、模糊、降采样和附加噪声产生的。这一过程可用式（1）来表示： 　　yk=DkBkFkxk+nk（1） 　　其中：yk表示LR帧序列的第k帧；Dk、Bk、Fk和nk分别表示降采样矩阵、模糊矩阵、几何运动矩阵和噪声。由式（1）反演求得的解是不确定的，而将引入先验信息约束项的正则化法用于SR重建，可以得到稳定解。TV正则化是一种有效的先验模型，常用来解决病态反演问题，可以用于去噪、去模糊、边缘增强等[3]。假设LR帧是由同一设备获得，则Dk相同，Bk也相同。由LR帧序列估计HR帧序列的正则化模型可以表示为： 　　其中：t表示帧序列的时间索引；t表示最终的HR图像；xt表示当前的HR图像，k∈（t-N/2，t+N/2），t时刻的HR帧，由（t-N/2，t+N/2）内的N帧LR帧反演重建求得。式（2）中∑t+N/2k=t-N/2‖yk-DBFkxt‖22为数据保真度项，描述当前所求的HR图像与原始HR图像的误差；φ（xt）为正则化项，表示先验信息模型，对于HR帧，当正则化项为TV时，得到：