基于场景图的图像内容检索方法研究.pdfVIP

基于场景图的图像内容检索方法研究

摘要

随着网络技术的飞速发展，大量的网络数据充斥在互联网中，人们对于图像检索的

要求也愈加严苛。多模态图像检索，根据不同模态的查询信息特征检索出与其相关的图

像。当前主流的图像检索模型对于多模态检索研究采用的方案为模态融合，该方法在图

像检索任务中虽然在一定程度上提高了检索的性能，但其依然存在问题：一方面，不同

的模态信息使用不同的描述方法对原模态信息进行表征，使得基于模型无法直接利用多

模态特征之间的语义相似度进行检索任务；另一方面，大多数图像检索方法依赖的深度

卷积神经网络往往对低水平和局部视觉特征过于敏感，造成检索出的图像与查询图像总

体上相似但内容完全不同的问题。

为解决以上问题，本文面向图像内容检索研究，改进多模态表达形式，优化网络模

型架构，学习多模态之间的视觉语义关系，从而提高图像检索的性能。本文的主要工作

如下：

首先，为了解决多模态中不同特征信息模态融合的问题，本文开展了语义图像检索

研究。本文基于不同模态特征提取方法的语义图像检索基础之上，提出了基于场景图相

似的语义图像检索，不同模态信息特征使用图结构形式来描述，通过图相似模块对不同

模态下的图结构信息特征进行计算得到不同图结构之间的相似度，以反映不同模态信息

之间的语义相似度，通过获取到的语义相似度来评价图像检索的返回结果。

其次，对于图像视觉语义理解问题，本文开展了图像内容检索研究。本文在基于多

模态语义理解的图像内容检索基础之上，提出了基于场景图跨模态监督的图像内容检索，

通过使用图结构对图像内容信息进行表征，比较不同图结构信息特征来量化不同图像之

间的语义相似性，使用句子嵌入方法来计算不同图像描述之间的相似性，利用计算得到

的相似度来训练模型中的图神经网络，并对图像检索结果进行评价。

最后，本文中所提出的模型均在图像语义理解VisualGenome数据集中进行试验，

与当下其他模型实验对比，本文提出的模型方法有助于提升图像检索的性能。同时，本

文设计实验并进行相关分析，进一步验证实验模型的有效性。

关键词：图像检索；多模态；场景图；图神经网络;语义相似

基于场景图的图像内容检索方法研究

ABSTRACT

Withtherapiddevelopmentofnetworktechnology,alargeamountofnetworkdatais

filledintheInternet,andpeoplesrequirementsforimageretrievalaremoreandmore

stringent.Multi-modalimageretrieval,accordingtodifferentmodesofqueryinformation

featurestoretrievetheimagerelatedtoits.Thecurrentmainstreamimageretrievalmodel

adoptsmodefusionformulti-modalretrievalresearch.Althoughthismethodimprovesthe

retrievalperformancetoacertainextentinimageretrievaltasks,itstillhassomeproblems:

Ontheonehand,differentmodalinformationusesdifferentdescriptionmethodsto

characterizetheoriginalmodalinformation,whichmakesitimpossibletousethesemantic

similaritybetweenthemulti-modalfeaturesforretrievaltasks.Ontheotherhand,deep

convolutionalneuralnetworks,whichareheavilyreliedonbymostimage