融合图像与文本特征的组合检索方法.pdfVIP

第2期电子学报Vol.53No.2

2025年2月ACTAELECTRONICASINICAFeb.2025

融合图像与文本特征的组合检索方法

11*21

秦钰淑，杨良怀，朱艳超，龚卫华

（1.浙江工业大学计算机学院，浙江杭州310023；2.中国电子口岸数据中心杭州分中心，浙江杭州310008）

摘要：随着电商领域图像数据的爆炸式增长，针对目标图像的检索成为信息检索研究中的挑战性工作.现有

的传统图像检索模型仅依靠单一文本描述或相似图像，难以准确捕捉用户的检索意图，导致检索结果不理想.为了解

决该难题，本文提出了一种融合图像与文本特征的组合检索方法，采用SwinTransformer（SwinT）提取参考图像的多层

特征，将图像与文本特征在多个层级上进行融合，使文本特征能够多层次、细粒度地修改参考图像特征，以更接近目标

图像特征.然后，将修改后的图像特征与目标图像特征嵌入到一个空间中进行相似性度量，并采用基于批次的分类损

失来优化检索性能.在Fashion200k、MIT-States和CSS这3个数据集上的实验结果表明，相较于现有主流方法，本文方

法在性能上平均提升了5个百分点.

关键词：图像文本组合检索；图像特征；文本特征；特征融合

基金项目：浙江省重点研发计划“领雁”项目（No.2022C01088）

中图分类号：TP391文献标识码：A文章编号：0372-2112(2025)02-0558-10

电子学报URL:http://www.DOI:10.12263/DZXB

ACombinedRetrievalMethodbyFusingImageandTextFeatures

11*21

QINYu-shu,YANGLiang-huai,ZHUYan-chao,GONGWei-hua

(1.ComputerScienceandTechnology,ZhejiangUniversityofTechnology,Hangzhou,Zhejiang310023,China;

2.ChinaElectronicPortDataCenter,HangzhouBranch,Hangzhou,Zhejiang310008,China)

Abstract:Withtheexplosivegrowthofimagedatainthefieldofe-commerce,targetimageretrievalhasbecomea

challengingworkininformationretrievalresearch.Theexistingtraditionalimageretrievalmodelsonlyrelyonasingletext

descriptionorsimilarimage,whichisdifficulttoaccuratelycapturetheuser’sretrieva