图像融合报告PPT.ppt

Multifocus image fusion using region segmentation and spatial frequency xoulongxia 专业：计算机科学与技术 一 研究背景 二 研究动态 三 研究内容 四 文章理解 五 想 法 研究背景 定义 图像融合（Image Fusion）是通过对源图像间冗余信息和互补信息进行处理，使得到的融合图像可靠性增强，能更客观地、更精确地和更全面地对某一场景进行图像描述，更加适合人眼和机器视觉感知，更加有利于图像分割、特征提取和目标识别等更深层次的图像处理任务。 高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强图像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。　　 例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中的一幅图像中很清晰，而在别的图像中较为模糊的话，那么可以采取图像融合的方法获得一幅新的图像，融合后的图像比融合前的任意一幅图像具有更多的信息量。 图一：左聚焦图像 图二：右聚焦图像 图三：融合图像 在图像融合目标识别方面，国外从70年以已开始研究被动微波／红外复合的双模(双传感器)寻的系统，进入80年代后，更多型式的双模(双传感器)寻的系统如：半主动雷达／红外、主动毫米波／雷达、激光／红外等型式的双模寻的系统大量出现，其主要的目的就是企图通过多种不同类型的传感器系统的组合和信号的综合利用使整个系统在性能上取得互补，以提高寻的系统总的性能指标。 研究内容 目前，国内外学术界在图像融合领域已取得了丰硕的研究成果。在理论和方法方面主要有主成分分析法、演化计算法、神经网络法、小波变换法和模糊逻辑等图像融合方法：在融合效果客观评价方面，有shannon提出的信息熵、交叉熵、互信息、联合熵以及均方根误差、均值、标准差、平均误差、偏差、相对偏差、空间频率、灰度标准差、相关系数、信噪比和峰值信噪比等客观评价标准。 一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。 像素级融合是在严格配准的条件下，直接在传感器采集所得的图像原始数据层上进行处理，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。 像素级图像融合具有明显的局限性：它要处理的图像数据量太大，处理代价高；这种融合是在信息的最低层进行，传感器原始信息的不确定性、不完全性和不稳定性要求在进行融合时有较高的纠错处理能力；要求各传感器信息之间有精确到一个像素的配准精度；数据通信量大，抗干扰能力差。 特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始信息的特征，产生特征矢量,然后对特征矢量进行融合处理。一般来说，提取的特征信息应该是像素信息的充分表示量或充分估计量，然后按照特征信息对多传感器数据进行综合分析和处理。 特征级图像融合的主要优点有：由于提取传感器原始信息的特征信息，信息得到了压缩，有利于实时处理。 决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，在决策级图像融合之前，每种传感器已经被独立完成了决策和分类任务，融合工作实质上是做出全局的最优决策。决策级图像融合的优点主要表现为：它能在增加或减少一个或多个传感器的情况下工作，对传感器没有特殊的要求，因此，它具有很强的容错性、很好的开放性、融合中心处理代价小，较短的处理时间等特点。同时由于处理的数据量较小，信息通信量小，抗干扰能力强，还能有效的反映环境或目标各个侧面的不同类型信息。 由于是最高级别的融合，需要以前面级别的融合结果作为输入，所以预处理的代价非常高。 文章理解 本文中，我们提出一种在空间域实行的并且适合多聚焦图像的融合。直观的想法是图像被人们理解为区域或对象级别用来代替像素级别。这包含三个步骤：图像的分割、区域的明确计算和融合图像的构建。 第一步，通过简单的求均值的方法合并两个源图像。 第二步，被融合的图像使用归一化分割(Ncut)方法分割，根据这个结果图像被划分开。 第三步，两个源图像相匹配的区域使用空间频率的方法相融合。 实验方案 ▽1、Region segmentation using normalized cuts （基于归一化分割方法的区域分割） 被分割的图像是由点集组成的，节点之间的相互联系就构成了加权无向图G = (V,E)。 我们给出 normalized cuts （Ncut）的定义： 其中， 表示