图像融合报告课件.pptVIP

Multifocus image fusion using region segmentation and spatial frequency;一 研究背景;研究背景;高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强图像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。　　;例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中的一幅图像中很清晰，而在别的图像中较为模糊的话，那么可以采取图像融合的方法获得一幅新的图像，融合后的图像比融合前的任意一幅图像具有更多的信息量。;研究动态;一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。 像素级融合是在严格配准的条件下，直接在传感器采集所得的图像原始数据层上进行处理，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。 像素级图像融合具有明显的局限性：它要处理的图像数据量太大，处理代价高；这种融合是在信息的最低层进行，传感器原始信息的不确定性、不完全性和不稳定性要求在进行融合时有较高的纠错处理能力；要求各传感器信息之间有精确到一个像素的配准精度；数据通信量大，抗干扰能力差。;特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始信息的特征，产生特征矢量,然后对特征矢量进行融合处理。一般来说，提取的特征信息应该是像素信息的充分表示量或充分估计量，然后按照特征信息对多传感器数据进行综合分析和处理。 特征级图像融合的主要优点有：由于提取传感器原始信息的特征信息，信息得到了压缩，有利于实时处理。;决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，在决策级图像融合之前，每种传感器已经被独立完成了决策和分类任务，融合工作实质上是做出全局的最优决策。决策级图像融合的优点主要表现为：它能在增加或减少一个或多个传感器的情况下工作，对传感器没有特殊的要求，因此，它具有很强的容错性、很好的开放性、融合中心处理代价小，较短的处理时间等特点。同时由于处理的数据量较小，信息通信量小，抗干扰能力强，还能有效的反映环境或目标各个侧面的不同类型信息。 由于是最高级别的融合，需要以前面级别的融合结果作为输入，所以预处理的代价非常高。;文章理解;实验方案 ▽1、Region segmentation using normalized cuts （基于归一化分割方法的区域分割） 被分割的图像是由点集组成的，节点之间的相互联系就构成了加权无向图G = (V,E)。 我们给出 normalized cuts （Ncut）的定义： 其中， 表示所有从节点A到节点B的连接， 表示从节点A到所有结点的连接。 ;计算流程 （1）定义一个给定的图像和权重函数的特征描述矩阵； （2）假定一个加权图G=（V,E），计算边缘权值，得出的W和D的信息矩阵的W表达式如下： X(i)为节点i的位置空间，F(i)=I(i)为强度值，矩阵D是N×N的对角矩阵，对角线上的d(i)=ΣW(i,j)； ; （3）解答(D-W)X=λDX特征向量的最小特征值； （4）使用特征向量找出第二小的特征值，并找出划分的点以便于把Ncut的值减小至最低范围； （5）检查Ncut的值，最简单的是依据第一个计算特征向量的柱状图，然后计算在最大值和最小值之间的二进特征向量的比率，在实验中，设置一个像上述的比率阈值，小于阈值的特征向量是不稳定的（本实验设置阈值为0.06）。 我们还可以按照第（2）进一步的细化。 ;▽2、Spatial frequency（空间频率） 空间频率源于人们的目视系统，表明在一个图像中的全部活动程度，一个图像块的空间频率定义如下： 假定一个像素为M×N的图像，行频率RF(row frequencies)，列频率CF(column frequencies),则 F(m,n)是图像F在位置(m,n)的像素灰度值 图像的总的空间频率： ;▽3、Multifocus image fusion using regions’ clarity （区域明确的多聚焦图像融合） 融合的过程 （1）获得检录图像A和B的临时融合图像平均值； （2）使用归一化的分割算法把临时融合图像分割为几个区域； （3）使用第(2)步的结论划分图像A和B； （4）计算每一个划分的A和B区域的空间频率；