面向多模态检索的视觉语义嵌入网络研究.docxVIP

面向多模态检索的视觉语义 嵌入网络研究 摘 要 多模态检索的任务是给定一个模态的数据，检索另一模态的相关数据，例如根据图片来检索与之相关的文字描述。此任务的一个关键挑战在于由不同模态数据之间的异质性而引起的模态语义鸿沟。本文研究有监督的多模态检索问题，针对跨模态语义鸿沟问题，本文提出一种图像模态数据的语义嵌入方法，并据此设计了相应模型，旨在对图像模态数据的低阶结构信息和冗余语义信息进行建模，并在将图像数据映射到嵌入空间时将它们分离出去，提高检索性能。本文首先介绍了多模态检索的相关背景、研究现状和与本文模型直接相关的几个关键的前人工作，然后在这几个工作的基础上提出本文的模型架构。本文提出的模