摄像中的超分辨率图像重建算法研究.docVIP

摄像中的超分辨率图像重建算法研究 　　摘 要 超分辨率图像重建技术就是利用信号处理的方法，从多幅低分辨率图像中提取更多细节信息，重建出一幅或多幅高分辨率图像的技术。文章介绍了超分辨率图像重建的概念，并且探讨超分辨率图像重建的意义和需求，然后着重研究了目前的几种主要超分辨率图像重建算法，并讨论了关于目前超分辨率图像重建算法的一些思考。 　　关键词 超分辨率；图像重建；规则化；最大后验概率 　　中图分类号：TN911.73 文献标识码：A 文章编号：1671-7597（2013）16-0044-02 　　在大多数的电子图像应用当中，人们在多数情况下迫切需要得到高分辨率图像。所谓图像分辨率，指的是组成一幅图像的像素密度，对同一个场景，用的像素数目越多，像素密度就越高，表示图像分辨率越高，这样图像给人们提供的细节就越多。 　　人们获得数字图像的方法大都采用CCD和CMOS图像传感器，分辨率提升的最直接方法便是利用传感器制造技术减小像素大小的方法增加空间分辨率（即增加单位面积内像素的个数）。但是随着像素大小的降低，会产生散弹噪声而影响图像的质量，目前像素的大小已经接近或达到了像素的极限。另一种方法，扩大光学传感器感光芯片的大小，这样会导致电容的增大，从而大电容会影响电子转移的速度，而且需要精密的光学系统，造价相当高，限制了其在很多商业场合的应用。 　　最近人们一直在研究利用信号处理技术方法由多张低分辨率图像重建得到高分辨率图像的技术，这种信号处理方法的优点在于成本低而且现有的低分辨率成像系统依然能够被充分利用。从低分辨率图像中重建高分辨率图像的可行性怎么样呢？我们下面分析一下，提供多个从同一场景拍摄的低分辨率图像，在拍摄多张低分辨率图像时，往往会有意或者无意的造成成像系统（相机）的微小运动，这样就可以得到同一场景的不同低分辨率图像信息，如果帧与帧之间的相对运动可以精确到亚像素级（小于一个像素大小），那么同一场景多张低分辨率图像，肯定比一张低分辨率图像所包含的信息量多，就能够从中重建出更高分辨率的图像（即超分辨率图像重建），三张同一场景的低分辨率图像，像素在场景的分布示意图，我们可以感觉到，利用低分辨率图像有可能恢复重建出高分辨率图像。 　　1 低分辨率和高分辨率之间的关系 　　关于高分辨率图像和低分辨率图像之间的关系，大多数学者都描述为如图1所示。 　　高分辨率图像经过运动扭曲、成像系统模糊和运动模糊、抽值下采样、加性噪声的影响而得到一系列低分辨率的图像。其数学模型可以表示为： 　　其中是第t张低分辨率图像的向量表示，，和分别表示低分辨率图像的宽和高。X则是理想高分辨率图像向量表示形式，其大小为，为高低分辨率之间的因子。是运动扭曲矩阵，扭曲包括全局或局部的：比如位移，旋转等，是模糊矩阵，和的大小同为，D为下采样矩阵，其大小为，是噪声向量，一般情况我们假设是高斯加性白噪声。t=1，2，…，p，共p张低分辨率图像。图像的超分辨率就是从一系列的低分辨率图像中恢复出高分辨率图像X。 　　2 超分辨率图像重建算法 　　根据上一节给出的关系可以看出，超分辨率图像重建就是一个逆向求解的过程，大致可以分为三个步骤，配准、插值、恢复。这些步骤可以分别或同时实施，运动信息的估计是在配准过程中实施的。这些步骤可以分别或同时实施，目前发表的超分辨率图像重建方法，主要有以下几类。 　　2.1 非均匀插值法 　　非均匀插值，是一种最直观的超分辨率图像重建方法，首先对低分辨率图像进行相对运动的估计和图像的配准注册，然后利用非均匀插值的方法，把多个低分辨率图像融合成一张模糊带有噪声的高分辨率图像，最后利用传统的去模糊图像恢复算法得到清晰的高分辨率图像。例如文献[3]利用基于图像梯度的配准方法估计低分辨率图像之间的相对运动，利用邻域加权平均的插值方法得到高分辨率模糊图像，最后利用传统的维纳滤波器进行图像去模糊和去除噪声。能够达到实时红外图像的配准和超分辨率图像重建。重建效果如图2所示。 　　通过比较，可以看出，重建结果明显的增强了图像的分辨率。 　　非均匀插值的超分辨率重建技术想法简单直观，而且所花费的运算量也比较少，能够达到实时应用的可能。但是这种方法对降质模型有限制，所有的低分辨率图像的模糊和噪音特性必须是相同，而且要求所估计的相对运动信息尽可能准确。另外得到的超分辨率效果不是最佳的。 　　2.2 规则化的超分辨率图像重建 　　超分辨率图像重建技术被人们称为是一个反问题，由于低分辨率图像信息不足够多或者模糊函数不太理想，很可能导致超分辨率问题成为一个病态问题。人们通常用规则化的方法解决此类问题。 　　其中一种规则化方法就是约束的最小平方（CLS）规则化。其主要思想是构建一个目标函数： 　　其中上式第一项为忠实数据项，第二项称为