基于图神经网络的跨模态遥感图像检索技术研究.pdfVIP

摘要

摘要

随着遥感图像数据的迅猛增长，高效信息检索面临前所未有的挑战。为应对

这一挑战，遥感跨模态检索技术逐渐受到广泛关注，特别是遥感图像与文本的自

动检索。然而，遥感图像的复杂性和特异性为现有研究带来了一系列挑战。与自

然场景图像相比，遥感图像具有目标数量多、尺寸小、代表性不足的特点。这些

特性使得传统目标检测方法提取的图像对象特征难以与文本构建有效的注意力模

型。此外，过去的研究多关注遥感图像的全局信息或利用注意力机制进行简单的

细粒度对齐，忽略了遥感图像文本的复杂性。因此，本文分别从全局和局部匹配

的角度出发，提出了两种创新的跨模态遥感图像检索算法，并实现了一个遥感跨

模态图文检索系统。本文的具体工作和贡献如下：

1．提出了基于图注意力网络的遥感跨模态图文检索算法。该算法采用视觉图

神经网络作为特征提取器，将节点特征视为对象特征，在此基础上，设计了多尺

度节点特征融合模块，以增强对遥感图像多层次、全面理解的能力。为了让文本

特征与视觉特征更好地匹配，设计了文本特征增强模块。该模块利用视觉图神经

网络中的节点信息，引导文本特征对齐视觉特征，使生成的文本特征具有对象级

的语义，进而获得更优秀的匹配效果。通过在RSICD和RSITMD数据集上的结果

mR20.34%33.68%

显示，分别达到了和。

2．提出了基于注意力校正和过滤的遥感跨模态图文检索算法。该算法从局部

匹配的角度出发，将视觉图神经网络中的节点特征视为对象特征，与文本的词级

特征进行匹配。为了克服现有注意力机制的缺陷，设计了注意力校正和过滤单元。

注意力校正单元通过缩放注意力权重，减少了不匹配图像文本对中的错误匹配可

能性。注意力过滤单元则降低了不相关视觉区域与单词的影响，提高了跨模态检

RSICDRSITMDmR21.10%

索的精度。通过在和数据集上的结果显示，分别达到了

和34.28%。

3．基于提出的模型，设计并实现了遥感跨模态图文检索系统。该系统包含数

据检索、数据匹配、数据标注和数据训练等功能，采用前后端分离的开发模式，

利用Vue和Python等技术栈实现。最后，在系统部署上，采用DockerCompose

进行部署，确保了操作的便捷性和系统的稳定性。

关键词：遥感图像，跨模态检索，图神经网络，注意力机制

I

ABSTRACT

ABSTRACT

Asthevolumeofremotesensingimagedatasurges,thechallengeofefficient

informationretrievalisunprecedented.Toaddressthischallenge,cross-modalremote

sensingretrievaltechnologyhasgarneredincreasingattention,particularlythe

automaticretrievalofremotesensingimagesandtext.However,thecomplexityand

specificityofremotesensingimagesposeaseriesofchallengestoexistingresearch.

Comparedtonaturalsceneimages,remotesensingimagesarecharacterizedbyalarge

numberoftargetsthataresmallinsizeandlackrepresentativeness.These

characteristicsmaketheobjectfeaturesextra