基于注意力机制和软匹配的多标签遥感图像检索方法.pdfVIP

第４１卷第６期计算机应用与软件Ｖｏｌ４１Ｎｏ．６

２０２４年６月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪｕｎ．２０２４

基于注意力机制和软匹配的多标签遥感图像检索方法

张永梅徐敏李小冬

（北方工业大学信息学院北京１００１４４）

摘要针对卷积神经网络对于多标签遥感图像特征提取能力弱、不能准确反映遥感图像多标签复杂性的问

题，提出基于注意力机制和软匹配的多标签遥感图像检索方法。在特征提取阶段，以密集卷积神经网络模型为基

础，在每个密集块（ＤｅｎｓｅＢｌｏｃｋ）后添加ＣＢＡＭ（ＣｏｎｖｏｌｕｔｉｏｎａｌＢｌｏｃｋＡｔｔｅｎｔｉｏｎＭｏｄｕｌｅ）层，实现对多标签图像区域特

征提取。在模型训练时，利用区分硬匹配与软匹配的联合损失函数，学习图像的哈希编码表示。通过评估遥感图

像哈希编码间的汉明距离，实现相似图像的检索。实验结果表明，所提方法在数据集ＮＵＳＷＩＤＥ和多标签遥感图

像数据集ＤＬＲＳＤ上与其他基于全局特征的深度哈希方法相比，明显提升了检索准确率。

关键词遥感图像检索密集卷积神经网络深度哈希多标签软匹配

中图分类号ＴＰ７５１ＴＰ３文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２４．０６．０２７

ＡＭＵＬＴＩＬＡＢＥＬＲＥＭＯＴＥＳＥＮＳＩＮＧＩＭＡＧＥＲＥＴＲＩＥＶＡＬＭＥＴＨＯＤ

ＢＡＳＥＤＯＮＡＴＴＥＮＴＩＯＮＭＥＣＨＡＮＩＳＭＡＮＤＳＯＦＴＭＡＴＣＨＩＮＧ

ＺｈａｎｇＹｏｎｇｍｅｉＸｕＭｉｎＬｉＸｉａｏｄｏｎｇ

（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＮｏｒｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１００１４４，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＴｏａｄｄｒｅｓｓｔｈｅｐｒｏｂｌｅｍｓｔｈａｔｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓａｒｅｗｅａｋｉｎｅｘｔｒａｃｔｉｎｇｆｅａｔｕｒｅｓｏｆｍｕｌｔｉｌａｂｅｌ

ｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｓａｎｄｔｈｅｒｅｆｌｅｃｔｉｏｎｏｆｃｏｍｐｌｅｘｉｔｙｍｕｌｔｉｐｌｅｌａｂｅｌｓｉｎｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｓ，ａｍｕｌｔｉｌａｂｅｌｒｅｍｏｔｅ

ｓｅｎｓｉｎｇｉｍａｇｅｒｅｔｒｉｅｖａｌｍｅｔｈｏｄｂａｓｅｄｏｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍａｎｄｓｏｆｔｍａｔｃｈｉｎｇｉｓｐｒｏｐｏｓｅｄ．Ｉｎｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ

ｓｔａｇｅ，ｔｈｅｍｅｔｈｏｄｗａｓｂａｓｅｄｏｎｔｈｅｄｅｎｓｅｌｙｃｏｎｎｅｃｔｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ａｎｄａＣＢＡＭ（ＣｏｎｖｏｌｕｔｉｏｎａｌＢｌｏｃｋ

ＡｔｔｅｎｔｉｏｎＭｏｄｕｌｅ）ｌａｙｅｒｗａｓａｄｄｅｄａｆｔｅｒｅａｃｈｄｅｎｓｅｂｌｏｃｋｔｏａｃｈｉｅｖｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｏｆｍｕｌｔｉｌａｂｅｌｉｍａｇｅｒｅｇｉｏｎｓ．

Ｄｕｒｉｎｇｍｏｄｅｌｔｒａｉｎｉｎｇ，ｔｈｅｊｏｉｎｔｌｏｓｓｆｕｎｃｔｉｏｎｔｈａｔｄｉｓｔｉｎｇｕｉｓｈｅｄｈａｒｄｍａｔｃｈｉｎｇａｎｄｓｏｆｔｍａｔｃｈｉｎｇｗａｓｕｓｅｄｔｏｌｅａｒｎｔｈｅ

Ｈａｓｈｃｏｄｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｔｈｅｉｍａｇｅｓ．ＴｈｅｒｅｔｒｉｅｖａｌｒｅｓｕｌｔｓｗｅｒｅｏｂｔａｉｎｅｄｂｙｅｖａｌｕａｔｉｎｇｔｈｅＨａｍｍｉｎｇｄｉｓｔａｎｃｅｂｅｔｗｅｅｎ

ｔｈｅｉｍａｇｅＨａｓｈｃｏｄｅａｎｄｔｈｅｒｅｔｒｉｅｖｅｄｉｍａｇｅＨａｓｈｃｏｄｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｈａｓａ

ｓｉｇｎｉｆｉｃａｎｔｉｍｐｒｏｖｅｍｅｎｔｉｎｒｅｔｒｉｅｖａｌａｃｃｕｒａｃｙｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒｄｅｅｐｈａｓｈｉｎｇｍｅｔｈｏｄｓｂａｓｅｄｏｎｇｌｏｂａｌｆｅａｔｕｒｅｓｏｎｔｈｅ

ｕｎｉｖｅｒｓａｌｄａｔａｓｅｔＮＵＳＷＩＤＥａｎｄｍｕｌｔｉｌａｂｅｌｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｄａｔａｓｅｔＤＬＲＳＤ