基于跨模态信息融合的图像增强算法研究.pdf

摘要

图像作为人类获取信息的主要来源，但在实际获取图像的过程中，雾霾或光线

过暗等不利成像条件都会导致图像质量下降。传统的单一模态图像增强技术只针对

特定图像问题进行处理，如对比度增强和去噪等，但无法应对复杂的环境变化。

近年来，随着技术的不断进步，多模态成像设备能够获取不同模态的图像数据。

融合具有不同特点的数据，可以弥补单一模态图像的局限性，提高图像的整体质量。

本文基于多模态图像的特点，提出了一种基于跨模态信息融合的图像增强算法用于

图像去雾和低光增强任务。具体地，本文的主要研究内容如下：

1

（）在图像去雾任务中，图像中较远的区域，往往具有更大的雾霾浓度。针对

现有的全监督图像去雾方法缺乏成对训练数据和模型泛化性差的问题，本文深度挖

掘深度与雾霾浓度之间的联系，提出了一种基于深度信息自估计引导的自监督图像

去雾算法。首先，本文使用深度估计网络对现有清晰图进行深度估计，根据大气散

射模型随机生成大量雾图，解决了数据对缺失的问题。并借助清晰图的深度估计，

以自监督的方式对雾图的深度估计网络进行微调训练，使深度估计模型适应于有雾

场景。然后，设计了深度信息引导的混合注意力模块，将深度信息与有雾图像自适

应融合，并捕捉长距离上下文信息，有效建模雾密度信息，显著提升了算法在公开

数据集上的性能指标。实验结果表明，与其他方法相比，本方法取得了更好的泛化

性结果。此外，在图像去雾算法的基础上，还提出了一种深度信息引导的目标检测

方法，提升了雾天场景的目标检测性能，进而提升了本方法的应用价值。

2

（）在低光场景由于可见光成像设备的硬件局限性，可见光图像存在信息丢失，

可见光低光增强算法不尽如人意，红外图像在低光场景成像效果好，但缺乏颜色和

细节信息。然而，现有融合方法多针对正常光线条件，忽略了低光场景下的挑战。

为此，本文提出了一种基于红外图像和可见光图像融合的低光增强算法，设计了两

阶段图像增强网络，包含第一阶段的图像增强模块，矫正低光环境下导致的图像色

偏和亮度不均匀的问题，以及第二阶段的图像融合模块，融合细节信息丰富的可见

光图和目标信息明显的红外图像。实验结果表明，提出的方法显著地增强了图像的

对比度和饱和度，同时保留了纹理和目标信息，且显著提高了目标检测任务的性能。

关键词：图像去雾；低光增强；跨模态融合；Transformer；目标检测

I

ABSTRACT

Imagesaretheprimarysourceforhumanstoacquireinformation.However,during

theactualprocessofobtainingimages,unfavorableimagingconditionssuchashazeor

excessivedarknesscanleadtoadecreaseinimagequality.Traditionalsingle-modal

imageenhancementtechniquesonlyaddressspecificimageissues,suchascontrast

enhancementanddenoising,buttheyareunabletocopewithcomplexenvironmental

changes.

Inrecentyears,withthecontinuousadvancementoftechnology,multi-modal

imagingdeviceshavebeenabletoacquireimagedatafromdifferentmodalities.Fusionof

datawithdifferentcharacteristicscancompensateforthelimitationsofsingle-modal

imagesandimprovetheoverallqualityoftheimages.Basedonthecharacteristicsof

multi-modalimages,thispaperproposes