从光学到SAR：基于多级跨模态对齐的SAR图像舰船检测算法_NormalPdf.pdf

1007-4619（2024）07-1789-13NationalRemoteSensingBulletin遥感学报

从光学到SAR：基于多级跨模态对齐的SAR图像舰船

检测算法

112311

何佳月，宿南，徐从安，尹璐，廖艳苹，闫奕名

1.哈尔滨工程大学信息与通信工程学院,哈尔滨150001;

2.海军航空大学信息融合研究所,烟台264001;

3.北京市遥感信息研究所,北京100192

摘要：合成孔径雷达（SAR）舰船检测是近年来的研究热点。然而，与光学图像不同，SAR成像的特点会导致

不直观的特征表示。此外，由于SAR图像数据量不足，现有的基于大量标记SAR图像的方法可能难以达到较好

的检测效果。为了解决这些问题，本文提出了一种基于多级跨模态对齐的SAR图像舰船检测算法MCMA-Net

（Multi-levelCross-ModalityAlignmentNetwork），通过将光学模态中丰富的知识迁移到SAR模态来增强SAR图像

的特征表示。该算法首先设计了一个基于邻域—全局注意力的特征交互网络NGAN（Neighborhood-Global

AttentionNetwork），通过对骨干网络的浅层特征采用邻域注意力机制进行局部交互、对深层特征采取全局自注意

力机制进行全局上下文交互，在兼顾全局上下文建模能力的同时，提升局部特征的编码能力，使得网络在不同

层级更合理的关注相应的信息，从而能够促进后续的多级别模态对齐。其次，本文设计了一个多级模态对齐模

块MLMA（Multi-levelModalityAlignment），通过从局部级别到全局级别再到实例级别的对两种模态不同隐含空

间中的特征进行对齐，促进模型有效地学习模态不变特征，缓解了光学图像和SAR图像之间的模态鸿沟，实现

了从光学模态到SAR模态的知识传输。大量的实验证明我们的算法优于现阶段的检测算法，取得了最好的实验

结果。

关键词：遥感，SAR，目标检测，跨模态，特征对齐，注意力机制

中图分类号：P2

引用格式：何佳月，宿南，徐从安，尹璐，廖艳苹，闫奕名.2024.从光学到SAR：基于多级跨模态对齐的SAR图像舰船检测算法.遥

感学报，28（7）：1789-1801

HeJY，SuN，XuCA，YinL，LiaoYPandYanYM.2024.FromopticaltoSAR：ASARshipdetectionalgorithm

basedonmulti-levelcross-modalityalignment.NationalRemoteSensingBulletin，28（7）：1789-1801［DOI：10.

11834/jrs］

海面监管、海洋救援等工作的开展，同时可以在

1引言

一定程度上打击偷渡和违法捕捞等行为。利用

合成孔径雷达SAR（SyntheticApertureRadar）SAR图像数据在深度学习领域中开展目标检测工

是一种主动式微波成像传感器，具有全天时、全作已经成为一个重要的研究方向。

天候观测地球的能力。近年来，随着SAR图像数由于技术限制，早期遥感图像的成像分辨率

据的不断增长，SAR舰船检测作为SAR图像解译