基于无监督跨模态检索的研究.pdfVIP

杭州电子科技大学硕士学位论文

摘要

跨模态检索（Cross-modalRetrieval）旨在使用一种模态的查询数据，从另一

种模态中返回与之语义相关的数据。无监督跨模态检索的主要挑战是如何在不使

用语义标签的前提下，突破不同模态数据的“异构鸿沟”。虽然，当前无监督跨

模态检索通过共存信息学习不同模态类型数据的统一表征，取得了巨大的提升，

但如何更有效地利用数据之间的联系，仍值得探讨。本文针对上述问题展开研究，

围绕着实值表示学习和二进制表示学习，提出两种无监督跨模态检索算法。具体

包括以下内容：

（1）多种相似性保持自动编码器的无监督跨模态检索。针对在实值表示学

习中，无监督跨模态检索主要使用共存数据的成对相似性，而忽略了异构相似性

和同构相似性的问题，提出一种多种相似性保持自动编码器（Diversified

SimilarityPreservingAutoencoders，DSPAE）。DSPAE首先使用去噪自动编码器减

少不同模态特征的冗余噪声的影响。其次，在去噪自动编码器隐藏层构建了一个

多种相似性保持空间，考虑不同表示之间的所有关系，并设计了一个全面的相似

性保持损失来探索不同表示之间的相似性。除此之外，在公共空间中加入模态分

类器，进一步提高不同模态数据在公共空间中的统一表征。

（2）深度图邻域一致性保持网络的无监督跨模态哈希。针对在二进制表示

学习中，无监督跨模态检索由于仅使用共存信息计算两个数据之间的相似性，导

致相似性不准确的问题，提出一个深度图邻域一致性保持网络（DeepGrap-

neighborCoherencePreservingNetwork，DGCPN），通过探索和利用图中数据的固

有关系来解决不精确的相似性问题。首先，DGCPN利用不同模态数据及其邻域

信息探索图邻域一致性；其次，DGCPN利用三种类型的数据相似性（即图邻域

一致性，共存相似性以及模态内和模态间的一致性）来调节相似性保持的综合损

失；除此之外，DGCPN还设计了一种半实值半二进制的优化策略来减少哈希散

列期间的量化误差。

本文提出的两种算法分别在跨模态检索领域中的几个公开数据集上进行了

大量实验。实验结果表明，本文所提出的算法性能相比于已有的方法得到了极大

的提升。

关键词：跨模态检索，无监督，跨模态哈希，相似性保持

I

杭州电子科技大学硕士学位论文

ABSTRACT

Cross-modalretrievalaimstoretrieverelevantinstancesfromonemodalityusing

aqueryinstancefromadifferentmodality.Themainchallengeofunsupervisedcross-

modalretrievalishowtobreakthroughtheheterogeneitygapofdifferentmodality

datawithoutusinglabels.Althoughthecurrentunsupervisedcross-modalretrieval

algorithmslearntheunifiedrepresentationofdataofdifferentmodalitytypesthrough

coexistenceinformationandhaveachievedpromisingimprovements,theystillworth

exploringhowtomakemoreeffectiveuseoftheconnectionsbetweendata.Inthis

thesis,westudytheaboveproblemandproposetwounsupervisedcross-modalretrieval

algori