基于联合模态语义相似度的跨模态检索研究及应用.pdfVIP

重庆师范大学硕士学位论文中文摘要

基于联合模态语义相似度的跨模态检索研究及应用

摘要

近年来，随着大数据的高速发展，文本、图像以及视频等不同模态的数据也

呈现爆炸式增长。因此搭建相同语义信息下不同模态数据之间的联系，实现大规

模的跨模态匹配、融合和检索成为了当下的研究热点。跨模态检索旨在对如图像、

视频、文本等不同表现形式的数据之间进行互相检索，由于不同模态数据间存在

天然的“语义鸿沟”，因此如何对多模态数据进行高级语义抽取与对齐，实现灵

活且智能的视频-文本、图像-文本跨模态检索是目前面临的一大挑战。诸多学者已

经提出了多种基于深度神经网络的跨模态检索方法，这些方法可以通过非线性的

映射方式将不同模态的数据投影到统一的特征空间中挖掘多模态数据的语义信息，

增强多模态数据的语义关联性。但这些工作对于模态间以及模态内的相似度挖掘

得并不够深入，二者在跨模态检索领域中并没有得到很好的结合。本文致力于解

决以上问题，主要做了如下工作：

(1)提出了基于相似度增强的无监督跨模态图文哈希检索方法。首先针对文本

模态特征稀疏的问题，本文基于GCN设计了一个文本编码器，将语义相近的文本

实例联系起来，丰富文本特征。其次使用Hadamard乘积对原始的模内相似度矩阵

进行增强，提出了增强注意力融合机制对不同模态的语义相似度矩阵进行融合。针

对不同的实例的文本和图像相似度有不同注意力，且该机制会随着数据集分布的改

MS-COCONUS-WIDEFlickr-25K

变自适应的调整注意力。在、和上的大量实验表

明，本文提出的方法比其他无监督跨模态图文哈希方法能更有效地优化哈希函数。

(2)提出了基于联合模态多粒度相似度对比学习的视频文本跨模态-

检索方法。首先针对此前方法缺乏捕获细粒度交互的能力的问题，该方法设计了一

个时态多模态变换器来提取视频和文本数据的多粒度语义特征。此外，还进行了模

态内和模态间的多粒度相似性计算。其次，为了获得实例级的相似性，该方法提出了

注意力联合模态相似性（AJS）模块，它使用了注意力机制来聚合和分配不同的权重

的相似性向量矩阵中的分数。在四个视频文本基准数据集上的实验表明，该方法在/-

检索性能方面优于现有的方法，验证了所提出方法的有效性。

(3)设计并实现了一个跨模态检索系统。该系统对本文提出的两种方法进行封

装，验证所提出模型的有效性。实现了文本与图像、文本与视频之间的相互检索

等功能，能在短时间内输出并展示有效结果，为实际应用提供了借鉴。

关键词：深度学习，跨模态检索，对比学习，GCN，联合模态相似度

I

重庆师范大学硕士学位论文英文摘要

ResearchandApplicationofCross-modalRetrieval

basedonJointModalSemanticSimilarity

ABSTRACT

Inrecentyears,withtherapiddevelopmentofbigdata,differentmodalities

suchastext,images,andvideoshavealsoshownexplosivegrowth.Therefore,it

hasbecomearesearchhotspottobuildtheconnectionbetweendifferentmodal

dataunderthesamesemanticinformationandrealizelarge-scalecross-modal

matching,fusionandretrieval.Duetothenat