基于图表示的跨模态哈希检索的研究.pdfVIP

基于图表示的跨模态哈希检索的研究

摘要

随着数据规模和种类的不断增加，如何从繁杂的数据中高效且准确的检索

出需要的信息成为人们关注的焦点。在跨模态检索的方法中基于哈希的跨模态

检索方法具有较低的存储成本和较快的检索速度，成为了许多学者研究的热点。

本文重点对浅层、深层和不完全跨模态检索展开研究，提出如下三种方法：

（1）针对浅层方法中映射矩阵存在噪声和实例间的多元关系无法充分保持

关联的问题，提出了基于超图表示的离散跨模态哈希检索（HLCH），充分利用

标签信息和标签间的深层关系生成哈希码，将实例间的内在关系嵌入到监督阶

段，不只依赖生成的哈希码自主地学习实例间的关系，在哈希函数学习阶段，

利用加权核范数提纯一致性映射矩阵中的信息，去除映射矩阵中的噪声。同时，

采用基于离散循环坐标下降的逐位哈希法来学习哈希码。

（2）针对深层无监督方法没有有效的监督信号问题，提出了基于强化相似

图的无监督跨模态哈希检索（RSGH），将图像相似矩阵和文本相似矩阵融合到

统一的基础矩阵中，将其中的实例相似情况分为：强相关、弱相关和不相关三

种，在与基础相似矩阵加权融合成强化相似图，将语义相似的实例对拉近，并

将语义不相似的实例对拉开，既能充分保留实例间的跨模态邻域关系，又能充

分挖掘潜在的模态信息，更好地弥合模态差距。

（3）针对模态数据不完整和生成数据匹配性差的问题，提出了基于图卷积

自编码的不完全跨模态哈希检索（GCAE），针对不同模态数据训练不同的自编

码器，学习模态内的特征，对于模态不完整的数据，将已生成的模态数据的潜

在表示作为本模态的表示，然后通过解码-编码过程生成属于本模态的潜在表示，

利用图卷积网络进一步丰富特征的语义结构，对编码后的特征进行进一步调整，

提高生成特征与原始特征的匹配性。

关键词：跨模态哈希检索；超图；相似性保持；缺失模态；

-I-

AStudyofCross-modalHashRetrievalbasedon

GraphRepresentation

Abstract

Withtheincreasingsizeandvarietyofdata,howtoefficientlyandaccurately

retrievetherequiredinformationfromthecomplicateddatahasbecomethefocusof

attention.Amongthecross-modalretrievalmethods,hash-basedcross-modalretrieval

methodhaslowerstoragecostandfasterretrievalspeed,whichhasbecomeahotspot

formanyscholars.Thispaperfocusesonshallow,deepandincompletecross-modal

retrieval,andproposesthefollowingthreemethods:

(1)Aimingattheproblemthatthemappingmatrixisnoisyandthemultivariate

relationsbetweeninstancescannotbefullymaintainedinassociationintheshallow

method,discretecross-modalretrieval(HLCH)basedonhypergraphrepresentationis

proposed,whichmakesfulluseofthelabelinginformationanddeeprelationsbetween

labelstogeneratehashcodes,embedstheintrinsicrelationsbetweeninsta