图像超分辨率重构算法研究进展.docVIP

图像超分辨率重构算法研究进展 　　摘 要：超分辨率（Super-Resolution，SR）重构技术是指利用一帧或多帧拥有部分细节的低分辨率（Low-Resolution，LR）图像重构出一幅可以提供更多细节信息的高分辨率（High-Resolution，HR）图像。本文通过频域、空域和学习这三个层面的超分辨率重构算法，对图像超分辨率的方法进行了分类对比，重点论述了各算法的优缺点及应用，并展望超分辨率图像重构技术的发展趋势。 　　关键词：图像超分辨率；频域；空域；学习 　　中图分类号：TP391 　　由于超分辨率重构技术是采用软件方法来提高图像的空间分辨率，而不需要更换原有的成像设备，使它成为一种有效而又经济的提高图像分辨率的方法。自开始提出到现在，已具有广泛的应用领域，如在计算机视觉、卫星图像中军事目标识别、视频监控系统、生物医学图像处理和视频压缩、民用安防等领域中具有重要的实际应用价值，近年来得到许多学者广泛的关注。 　　国外超分辨率图像重构研究较为活跃，国内对于超分辨率重建构的研究近年来也逐步引起重视，但主要是对国外超分辨率方法的改进及部分领域的应用，如汪雪林等[1]提出了基于小波域局部高斯模型的图像超分辨率算法；姚振杰等提出一种用于车牌识别的图像超分辨算法[2]等。 　　1 图像超分辨率重构算法分类 　　目前，单帧图像的超分辨率研究较少，而多帧图像比单帧图像所含的可利用的信息量大，已经成为目前研究的热点。其重构按实现的具体方法主要可分为频域算法和空域算法 　　1.1 基于频域的超分辨率重构算法 　　频域方法是在变换域中解决图像的插值问题，1984年，Tsai和Huang[3]开创性地提出一种基于Fourier变换域的对多帧卫星图像进行超分辨率重构的算法，从本质上解决了高分辨率图像重构无唯一解的问题。Kaltenbacher和Hardie[4]在Tsai的基础上提出一种估计图像整体平移参数的计算方法，在计算整体平移方面的性能比Tsai的方法更为有效。郝鹏威[5]给出了多次欠采样图像在频域混叠的更一般的公式，这一改进具有很强的抗噪能力和收敛性。随后还出现了许多改进算法，但都是基于整体平移运动模型。 　　频域算法受限于傅立叶变换理论，难以包含先验信息，图像的运动只能是整体平移运动，而且观测模型也不能随意改变，因此频域算法的发展受到了极大地限制。 　　1.2 基于空域的超分辨率重构算法 　　空域算法是对影响低分辨率图像成像效果的空域因素（如光学模糊、运动模糊）进行数学建模。空域算法可以包含更为灵活的观测模型和先验知识，更接近于实际应用领域。 　　（1）基于插值的方法——非均匀采样插值算法 　　非均匀采样值算法首先是对多帧低分辨率图像进行运动估计，即图像配准。将配准后的低分辨率像素投放到高分辨率栅格上，低分辨率像素在高分辨率网格中是非均匀分布的无序采样值，对这些采样值进行内插，即可得到高分辨率像素值。 　　非均匀采样值算法优点是算法快速易行，基本可以满足实时要求，但因为不能引入更多有用的高频信息，没有充分的使用先验知识，降质模型有限，所以无法重构出好的高分辨率图像。 　　（2）迭代反投影（IBP）算法 　　Irani和Peleg[6]提出了迭代反向投影法。其基本思想是先估计出一帧高分辨率图像，并将此高分辨率图像代入到观测模型；然后经过一系列的降质过程生成低分辨率图像，计算出与输入的低分辨率图像之间的差值并投影到高分辨率图像上，同时根据差值不断更新当前输出图像；再经过多次迭代，误差得到收敛，便可得到相应的高分辨率图像。 　　IBP算法运算量小，收敛速度较快，不足点是重构结果不唯一，且与凸集投影（POCS）算法比较，难以包含先验知识，实际应用较少。 　　（3）集合论的方法——凸集投影（POCS）算法 　　POCS算法最早是Stark[7]从集合投影理论出发提出的超分辨率重构算法，它利用有效的空间观测模型，将成像系统每个先验信息视为对图像重构的结果的一个约束条件，加入这些先验信息，在这些信息的交集内得到一个可行解。POCS算法也是一个迭代过程，只需给定高分辨率图像空间上的任意一点，通过把初始估计迭代投影到每个凸集 ，最终得到一个能够满足所有集合的解，即重构的高分辨率图像。早在90年代，国外就将POCS算法应用到生物医学图像和视频序列的超分辨率重构模型，并取得了较好的重构效果。 　　POCS算法可以很便利的加入先验知识，具有较好的图像边缘及细节保持能力，应用较广泛，但是它的解不唯一，收敛速度较慢且不稳定。 　　（4）统计学方法——最大后验概率（MAP）算法 　　统计学算法是把高分辨率图像和低分率图像之间的运动都看成是随机的变量。MAP算法中的先验模型非常重要，大多数MAP算法的差别就