基于径向基函数多帧图像超分辨重建算法.docVIP

基于径向基函数多帧图像超分辨重建算法 　　摘要：神经网络具有强大的非线性学习能力，基于神经网络的多帧超分辨重建方法获得了初步研究，但这些方法一般只能应用于帧间具有标准位移的控制成像情形，难以推广应用到其他实际情况。为了将神经网络强大的学习能力应用到非控制成像多帧超分辨重建中，以获得更好的超分辨效果，提出了一种利用径向基函数（RBF）神经网络进行解模糊的算法，并将其与多帧非均匀插值结合起来，形成了一种新的两步超分辨算法。仿真实验结果表明，该算法的结构相似度为0.55～0.7。该算法不但扩展了RBF神经网络的应用范围，还获得了更好的超分辨性能。 　　关键词： 超分辨； 非均匀插值； 径向基函数； 解模糊 　　中图分类号： TN911.73 文献标志码： A 　　0引言 　　图像分辨率是图像质量的最重要指标之一。图像超分辨重建技术是指由一帧或多帧退化的低分辨率图像（LowResolutionImage，LRI）重建一帧或多帧高分辨率图像（HighResolutionImage，HRI）的技术，以恢复混叠在低频成分中的高频成分。 　　自从Tsai等首先建立了频域解混叠的基本算法模型[1]后，超分辨技术引起了人们极大的研究热情，各种新的方法不断涌现。图像超分辨重建方法大体上可分为两类：基于重建的方法[1-8]和基于学习的方法[9-14]。在第一类方法中，频域解混叠方法[1-2]原理简单，易于并行实现，但吸收先验信息的能力很有限。最大后验概率（MaximumAPosteriori，MAP）方法[3-4]和凸集投影（ProjectionOntoConvexSets，POCS）方法[5]具有灵活、速度快等优点，但有些先验信息不易于表示为正则化项 于非均匀插值的两步超分辨方法[6-8]可以对插值和解模糊分别进行改进以获得更好的超分辨效果。 　　基于学习的方法提供了解决超分辨重建问题的另一种思路。学习结果有两种：1）大量HRI和LRI块对集合[9-10]或神经网络的权值参数[11-14]，先验信息隐含在这些学习结果中。第一种基于非参数学习的方法需要很大的存储量和检索操作，一般只用于单帧超分辨重建；第二种基于参数学习的方法只需存储网络权值，免去了大容量样本库的存储和搜索过程，可用于多帧超分辨重建。 　　基于参数学习的方法借助神经网络强大的非线性学习能力，可以进一步改进超分辨性能。文献[11-12]利用反向传播神经网络进行超分辨重建，但该神经网络存在收敛速度慢且易于陷入局部极小值等问题。文献[13-14]将径向基函数（RadialBasisFunction，RBF）神经网络应用于超分辨重建中，克服了反向传播神经网络的收敛速度慢和局部极小问题，获得了更好的超分辨重建效果。 　　在上述基于神经网络学习的超分辨重建方法中，训练图像对是高分辨率图像和退化产生的具有标准位移的四帧LRI，在实际中，只有控制成像产生的图像源才能满足该条件，限制了该方法的实际应用。本文研究将RBF应用于两步超分辨重建算法中：第一步为多帧非均匀插值，第二步为利用RBF进行解模糊，使算法可以应用于任意帧间位移的多帧超分辨重建。 　　2两步超分辨算法 　　2.1多帧非均匀插值 　　如果已经知道各LRI之间的运动位移关系，就可以把多帧LRI像素映射到高分辨率网格上。映射过程又可分成两个步骤：1）将映射到高分辨率网格上的像素拟合成连续图像函数；2）在高分辨率网格处抽样得到插值结果。插值核函数有多种，如零阶插值、线性插值、样条插值等。本文采用文献[8]中提出的在图像局部区域进行曲面拟合然后采样的方法，实验结果表明该方法速度快、插值效果好。 　　2.2RBF解模糊 　　非均匀插值使得非标准位移的LRI像素值映射到标准位移的高分辨率网格上，得到超分辨重建的中间图像，该图像需要去除模糊才能完成超分辨重建。 　　由于RBF神经网络具有强大的学习能力，并且克服了反向传播神经网络收敛速度慢、易于陷入局部极小点等缺点，RBF应用于解模糊将会获得更好的效果。利用RBF进行解模糊需要解决两个问题：输入输出样本的设计和RBF参数的确定。 　　对于第一个问题，RBF网络采用有监督学习模式，需要选择合适的训练样本。按照成像模型，每一个模糊图像像素仅与其周围一定范围内的像素有关，因此本文选取RBF的输入样本为5×5大小的LRI块，并表示为向量形式，而输出为该LRI块中间像素对应位置的去模糊像素。5×5LRI块在整个图像上逐像素移动，若图像尺寸为m×n，则将有（m-4）×（n-4）组训练向量。 　　抽取训练样本的图像来源有以下两种方式： 　　1）用已经得到的模糊图像继续退化得到更模糊的图像，然后从中抽取输入训练样本，而退化前的模糊图像对应像素作为输出训练样本； 　　2）选取其他一些