一种利用位置信息优化的视觉问答方法.pdfVIP

  • 2
  • 0
  • 约4.09万字
  • 约 26页
  • 2023-05-17 发布于四川
  • 举报

一种利用位置信息优化的视觉问答方法.pdf

本发明公开了一种利用位置信息优化的视觉问答方法。所述方法包括以下步骤:收集训练数据,包括图片和与给定图片相关的问题;对输入的问题做前处理;对输入的图片做前处理;进行多头位置自注意力操作来得到问题中单词的融合特征向量:进行位置自注意力操作,同时利用位置联合注意力机制对视觉模态和语言模态进行融合,得到图片中的物体的融合特征向量;将物体的融合特征向量和单词的融合特征向量压缩后进行融合;构成视觉问答模型,预测问题答案,计算和真值之间差别,并通过反向传播来训练视觉问答模型,向训练后的视觉问答模型输入数据即

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114818739 A (43)申请公布日 2022.07.29 (21)申请号 202210327078.9 (22)申请日 2022.03.30 (71)申请人 华南理工大学 地址 510640

文档评论(0)

1亿VIP精品文档

相关文档