多聚焦图像融合技术答辩课件.pptVIP

第一PPT 静思笃行 持中秉正 　　　　　　　 第一PPT 第一PPT 多聚焦图像融合技术研究 学院：信息科学与工程学院 专业：电子信息工程 指导教师：XXX 主讲人：XXX 多聚焦图像融合技术研究 主要内容 ? 1.选题背景及其研究意义 ? 2.图像融合理论基础 ? 3.多聚焦图像融合方法 ? 4.NSCT和PCNN图像融合方法 ? 5.仿真结果及分析 ? 第一部分：选题背景及其研究意义 选题背景及研究意义 信息技术的发展 系统复杂性的提高 多传感器的综合应用 信息量的剧增 信息融合技术 计算机 微电子 独立传感器 无法满足 导致 形成学科 图像融合技术即为一种可视化的信息融合，它综合了传感器、计算机、信息处理以及人工智能等新技术，有着重要的研究意义和价值。 ? 第二部分：图像融合理论基础 图像融合理论基础 光学系统光路示意图： 景深会直接影响物体成像的清晰度，物体在景深的范围内，则在焦平面成像清晰，若不在景深范围内，则在焦平面成像模糊。 图像融合理论基础 在光学镜头对某一物体进行成像时，场景不同目标的物距不同，外部环境如光强、角度等因素不同。导致所成的像中各个目标具有不同的清晰度。 光学镜头 不同目标 聚焦 多幅多聚焦图像 图像融合算法 经过 多聚焦融合图像 融合处理 ? 第三部分：多聚焦图像融合方法 多聚焦图像融合方法 多聚焦图像融合 空域融合 变换域融合 基于像素点分割 基于图像分块的方法 基于区域分割的方法 “金字塔分解”方法 基于小波域的方法 ? 第四部分：NSCT和PCNN图像融合方法 NSCT图像融合方法 NSCT即 Nonsubsampled Contourlet Transform，非下采样contourlet变换，是在Contourlet变换的基础上融合了非下采样思想。 NSCT利用非下采样金字塔（NSP）变换和非下采样方向滤波器组（NSDFB）构造而成。 三级NSP分解示意图 每级NSP分解后，都需用2I对进行填零上采样作为下一级分解的滤波器，I为2阶单位矩阵。 y0为低频子带，y1,，y2，y3为高频子带。 NSCT图像融合方法 非下采样方向滤波器组NSDFB NSDFB对图像进行树形结构分解，在每一级方向分解后，都需要用一个梅花采样矩阵对DFB中的所有滤波器进行填零上采样，作为下一级方向分解的DFB。 四通道NSDFB示意图 将NSP与NSDFB相结合即可构造NSCT。 NSCT图像融合方法 NSCT两幅图像融合过程如图所示： 参与融合的源图像首先经过NSCT 多分辨率多方向分解，得到低频子带和高频方向子带；然后使用制定的融合规则，确定融合图像各子带的系数来源；最后经过NSCT 逆变换重构得到融合图像 PCNN图像融合方法 脉冲耦合神经网络PCNN是一种基于猫的视觉原理构建的神经网络模型。目前已有学者论证了脉冲耦合神经网络的神经元点火频率与图像灰度的关系，因此PCNN用于图像融合具有一定的可行性。 首先，获取多幅多聚焦图像，然后选择其中一个作为主神经元的外部刺激。其他的图像作为各辅神经元的外部刺激，借助PCNN捕获特性可得到“点火”频率。将“点火”频率与灰度映射，即可得到最终融合图像。 PCNN图像融合示意图 NSCT与PCNN相结合的图像融合方法 Step1：首先对同一背景下的源图像A、B进行NSCT分解，即可得到各自不同的低频子带和高频方向子带。 Step2：根据各自子带的子带系数，进行归一化处理，所得结果作为脉冲耦合神经网络PCNN神经元的连接强度系数。 Step3：将神经元中的外部激励和连接强度矩阵经过N次迭代处理，计算出各自神经元的“点火”次数，并将其作为点火映射图的输出。 Step4：将点火映射图输出的内容经过判决选择因子判断计算处理，可得到融合系数的低频子带和融合系数的高频方向子带。 Step5：最后将Step4中的两个子带进行NSCT逆变换，并进行多聚焦融合图像重构，即可得到最终的融合图像F。 ? 第五部分：仿真结果及分析 仿真结果及分析 第一组实验： (a)左聚焦图像1 (b)右聚焦图像1 (c)多聚焦融合图像1 第一组融合系数为：7.1078，融合效果一般，最终融合效果的右半部分比较模糊，融合效果不是十分理想，原因可能是在第一组实验中，右聚焦图像中的高频信息成为过少造成的。 仿真结果及分析 第二组实验： (d)左聚焦图像2 (e)右聚焦图像2 (f)多聚焦融合图像2 第二组融合系数为7.1698，融合效果好于第一组，但左聚焦和右聚焦部分均不及原始图片的对应部分清晰，但最终融合效果图的左半部分好于右聚焦图像对应部分，最终图像的右半部分好于左聚焦图像的对应部分。 仿真结果及分析 第三组实验： (g)左聚焦图像3 (h)右聚焦图像3 (i)多聚焦融合图像3