用于红外-可见光图像分类的跨模态双流交替交互网络.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812025⁃01⁃10

计算机应用,2025,45(1):275-283CODENJYIIDUhttp://www.joca.cn

文章编号：1001-9081（2025）01-0275-09DOI:10.11772/j.issn.1001-9081.2024010026

用于红外−可见光图像分类的跨模态双流交替交互网络

11*1123

郑宗生，杜嘉，成雨荷，赵泽骋，张月维，王绪龙

（1.上海海洋大学信息学院，上海201306；2.广州气象卫星地面站，广州510650；

3.山东省国土空间数据和遥感技术研究院（山东省海域动态监视监测中心），济南250014）

（∗通信作者电子邮箱1755141845@qq.com）

摘要：多特征模态融合时存在噪声的叠加，而为减小模态间的差异采用的级联方式的结构也未充分利用模态间

的特征信息，因此设计一种跨模态双流交替交互网络（DAINet）方法。首先，构建双流交替增强（DAE）模块，以交互双

分支形式融合模态特征，并通过学习模态数据的映射关系，以红外−可见光−红外（IR-VIS-IR）和可见光−红外−可见光

（VIS-IR-VIS）的双向反馈调节实现模态间噪声的交叉抑制；然后，构建跨模态特征交互（CMFI）模块，并引入残差结构

将红外−可见光模态内以及模态间的低层特征和高层特征进行有效融合，从而减小模态间的差异并充分利用模态间

的特征信息；最后，在自建红外−可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验，以验证

DAE模块和CMFI模块的有效性。实验结果表明，与简单级联融合方法相比，所提的基于DAINet的特征融合方法在

自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点，G-mean值分别提

高了6.24和2.48个百分点，表明所提方法在类别不均衡分类任务上的通用性；所提方法在RGB-NIR数据集上的2种

测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时，所提方法在2个数据集上分别与IFCNN

（generalImageFusionframeworkbasedonConvolutionalNeuralNetwork）和DenseFuse方法进行对比的实验结果表明，所

提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。

关键词：跨模态；深度学习；图像分类；特征学习；双流网络

中图分类号：TP18文献标志码：A

Cross-modaldual-streamalternatinginteractivenetworkfor

infrared-visibleimageclassification

11*112