基于自编码网络的多模态图像融合研究.pdf

目录

摘要I

ABSTRACTIII

第1章绪论1

1.1多模态图像融合任务的研究背景1

1.1.1红外与可见光图像融合2

1.1.2医学图像融合3

1.2多模态图像融合算法国内外研究现状4

1.2.1传统融合方法4

1.2.2基于深度学习的融合方法6

1.3图像融合算法的质量评价9

1.4论文的研究内容及章节安排12

第2章基于双通道自编码网络的红外与可见光融合13

2.1双通道级联残差密集网络框架13

2.2损失函数16

2.3融合策略17

2.4实验结果与分析18

2.4.1实验平台及参数设置18

2.4.2消融性实验分析19

2.4.3融合结果的主观评价21

2.4.4融合图像的客观评价23

2.5本章小结24

第3章基于离散变分自编码网络的医学图像融合25

3.1基于离散变分自编码器的网络结构25

3.2网络训练策略28

3.2.1训练离散变分自编码网络29

3.2.2训练医学图像融合层30

3.3实验结果与分析30

3.3.1实验平台与参数设置30

3.3.2消融性实验分析32

3.3.3融合结果的对比评价36

3.4本章小结41

第4章多模态图像融合算法应用42

4.1算法泛化性能分析42

4.2目标检测应用44

4.3图像分割应用47

4.4医学图像处理应用49

4.5本章小结51

第5章总结与展望52

5.1论文总结52

5.2研究展望53

参考文献54

致谢61

在学期间发表论文及参加课题情况62

基于自编码网络的多模态图像融合研究

摘要

图像融合技术作为一项重要的信息增强技术，在军事国防、智慧城市、医疗服

务等许多领域都扮演着至关重要的角色。伴随着成像技术的发展，从可见光成像到

卫星成像以及医学成像，一幅图像需要容纳越来越多的信息，这一需求促使着图像

融合技术的不断发展。本文以基于自编码网络框架的深度学习算法为主体，对图像

融合技术中应用相对广泛的多模态图像融合展开研究。

为了适应不同模态的图像融合场景，本文根据图像种类将多模态图像融合任

务分解为红外与可见光融合以及医学图像融合，根据其不同的融合需求设计了两

种基于自编码网络的图像融合算法，并对算法在后续计算机视觉的应用展开了初

步探究，文章的主要研究内容如下：

针对多模态图像中的红外与可见光图像，其融合结果相对于医学图像更多地

应用于后续视觉任务，强调信息融合的完整性。因此为了充分提取红外与可见光图

像中的特征信息，本文提出了一种基于双通道结构改进的自编码器算法进行红外

与可见光图像融合。该算法在网络结构上使用了密集残差网络并联提取红外与可

见光图像的深层特征，同时基于该网络结构设计了适应的融合策略，改进了损失函

数。在与其他算法的对比实验中，该算法在主观和客观评价中都存在优势，证明其

在红外与可见光图像融合中具有优秀的性能。

针对多模态图像中的医学图像，其融合结果相对于红外与可见光图像更多的

用于直接观察，强调可读性与关键病灶信息。因此为了适应不同模态组合的医学图

像融合组合同时使融合后的图像拥有更好的可读性，本文提出了基于离散变分自

编码网络的端到端医学图像融合算法。该算法引入离散变分自编码网络进行特征

提取，在自编码网络训练的基础上设计了基于深度学习的融