CN119646272A 基于信息增强和多模态全局局部特征对齐的图文检索方法 （西南交通大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119646272A

(43)申请公布日2025.03.18

(21)申请号202510186603.3

(22)申请日2025.02.20

(71)申请人西南交通大学

地址611756四川省成都市郫都区犀安路

999号

(72)发明人张晓博盛逸凯孙波王富淞杨芸菲

(74)专利代理机构成都其知创新专利代理事务所(普通合伙)51326

专利代理师王沙沙

(51)Int.Cl.

G06F16/903(2019.01)

G06N3/045(2023.01)

G06N3/08(2023.01)

权利要求书5页说明书12页附图4页

(54)发明名称

基于信息增强和多模态全局局部特征对齐

的图文检索方法

(57)摘要

CN119646272A本发明公开了一种基于信息增强和多模态全局局部特征对齐的图文检索方法，涉及图文检索技术领域，步骤如下：1、获取图片信息和对应文本描述数据；2、分别对图片数据和文本数据进行特征提取，得到图片全局特征、局部特征和文本词特征和句子特征；3、将图片局部特征和图片全局特征进行融合，获得拥有全局信息的局部特征，实现信息增强；4、将图片特征和文本特征放入交叉注意力机制模型中进行粗细粒度特征融合，得到图文全局融合特征和图文局部融合特征，