基于语义关系和交叉注意力机制的图文检索方法及系统.pdfVIP

  • 28
  • 0
  • 约1.58万字
  • 约 12页
  • 2024-03-20 发布于四川
  • 举报

基于语义关系和交叉注意力机制的图文检索方法及系统.pdf

本公开提供了基于语义关系和交叉注意力机制的图文检索方法及系统,涉及图文检索技术领域,同时考虑到模态内和模态间关系,针对模态内部挖掘图像区域之间和文本单词之间可能存在的关联,充分捕捉模态内存在的上下文关系后,一方面各自通过自注意力机制,得到图像全局特征和文本全局特征,另一方面,通过一个双向交叉注意机制对图像区域和文本单词的模态间关系进行挖掘,每个区域特征被用作查询来为单词特征分配权重,然后对所有单词进行加权求和来获得新的单词表示,同样,可以将每个单词特征用作查询来获得新的图像区域表示,最后通过设定

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117725253A

(43)申请公布日2024.03.19

(21)申请号202311779671.8G06V10/42(2022.01)

文档评论(0)

1亿VIP精品文档

相关文档