基于主题场景图和外部三元组的图像描述生成方法研究.pdfVIP

摘要

图像描述生成任务旨在根据图像内容生成自然语言描述，被广泛应用于盲人

导航、儿童早教、新闻写作等领域。该任务要求算法模型不仅能够识别图像中的

主要目标，还要能够理解目标之间的复杂关系。场景图是一种描述图像场景内容

的结构化表示，基于场景图的图像描述生成方法能够利用场景图中的目标节点与

关系边在图像与文本之间建立连接，并生成图像内容描述。然而，图像中往往有

许多与描述无关的目标，导致场景图的目标节点冗余，模型生成的描述不足以突

出图像的主要目标。此外，准确预测关系也是基于场景图的图像描述生成方法的

难点之一，利用外部知识优化场景图的关系预测是常见方法，但是主流的外部知

识中存在大量标注缺失数据与冗余数据，导致模型利用外部知识生成图像描述时，

对复杂关系的表达不准确。本文针对上述问题展开以下研究：

（1）为了解决图像描述生成模型难以针对图像主要目标进行描述的问题，

本文提出了一种基于主题场景图的图像描述生成方法。首先，利用LDA概率主

题模型从图像描述中提取图像主题特征，为场景图生成提供主题信息。同时，利

用显著性目标检测算法提取图像显著区域，突出图像的主题目标。其次，将图像

主题特征融入场景图生成过程，优化类别标签的预测，生成LDA场景图。然后，

将图像显著区域与LDA场景图相结合生成主题场景图，减少冗余目标对图像描

述生成的干扰。最后，将主题场景图输入图像描述生成模型，生成图像主要目标

的描述。该方法适用于基于场景图的图像描述生成模型，在MSCOCO和Visual

Genome数据集上的实验证明了主题场景图对生成图像主要目标描述的有效性。

（2）为了解决图像描述生成模型利用外部知识对复杂关系表达不准确的问

题，本文提出了一种基于外部三元组的图像描述生成方法。该方法包括外部知识

模块、场景图生成模块和关系编解码模块。首先，外部知识模块从图像描述中抽

取三元组，构建外部三元组知识库，并根据图像目标从知识库中提取相似三元组

和抽象三元组，过滤与目标无关的三元组，提高外部知识的利用率。其次，场景

图生成模块将三元组的编码特征融入到关系预测中，为其提供先验知识的指导，

提高关系预测的准确率。最后，关系编解码模块负责对三元组和场景图进行编码

以及对场景图特征进行解码，生成准确表达复杂关系的图像描述。该方法在

MSCOCO和VisualGenome数据集上的实验证明了外部三元组对于处理复杂关

系生成准确描述的有效性。

关键词：图像描述生成，场景图生成，图像主题，显著性目标检测，三元组

ABSTRACT

Imagecaptioningaimstogeneratenaturallanguagecaptionsdependingonthe

imagecontext.Itiswidelyusedinareassuchasnavigationfortheblind,childrens

earlyeducation,andnewswriting.Thetaskrequiresanalgorithmicmodelthatcan

identifythemainobjectsinanimageandunderstandthecomplexrelationshipsbetween

theobjects.Thescenegraphisastructuredrepresentationtodescribetheimagescene

content.Theimagecaptioningmethodbasedonthescenegraphcanutilizetheobject

nodesandrelationshipedgesinthescenegraphtoconnecttheimageandtextto

generatetheimagecaption.However,manyobjectsintheimageareoftenirrelevantto

thedescription,resultinginredundantobjectnodesinthescenegraph.Th