超分辨率算法综述讲解.docVIP

超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率(super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。正因为如此,超分辨率图像复原在近年 来已成为国际上图像复原领域最为活跃的研究课题,） （图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。） (在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。图1所示为图像的降质过程。提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。提高图像分辨率的另一方法是提高芯片尺寸,但这将导致电容的增加和电荷转移速度的下降。一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率SR( su