基于多层级语义信息融合与推理的视觉对话算法.pdf

摘要

随着计算机视觉领域和自然语言领域的快速更新迭代，近年来跨模态的视觉

对话任务已经成为一种新兴的技术，视觉对话将图像的识别、关系的推理以及自

然语言的理解三个特性完美结合，是近年来热门且具挑战性的跨模态视觉语言任

务，在回答当前问题时，视觉对话任务需要匹配不同的模态特征，因此，需要针

对不同的模态特征，以及当前的问题，运用多种方法，以及多种技术手段，来搜

寻有用的信息，以满足复杂的交互需求。要实现这一目标，模型需要能够从视觉

线索（图像信息）和文本知识（对话历史信息）中提取有价值的信息，于是，如

何充分有效的融合任务所涉及的多模态信息成为当前主流研究方向。

大多数视觉对话的模型通常利用图像特征与文本的单词特征进行相关性推

理，但忽略了图像和文本段落之间的联系。也就是说，这些模型很少考虑到图像

和文本在更高层次上的语义关系，因此在一些任务中表现可能受到限制。在另一

方面，由于视觉对话任务的特殊性，同时拥有图像、问题和对话历史三个特征，

而注意力机制的输入一般是两个，因此需要适合当前任务的特征融合模块，针对

主流模型在语义信息融合粒度方面存在的局限性，提出了基于多输入Transformer

与多层次信息融合的视觉对话算法。模型包含了词级别多步推理模块、问题引导

的对话历史段落搜索模块以及多层级信息融合解码模块，较为全面地考虑了局部

细粒度语义细节和全局上下文语义话题信息。其中，多输入Transformer模块的

设计能够较好地实现语义粒度一致的多种信息的并行编码和多步推理过程。

然后本文基于上述多输入Transformer模型进一步研究，为了提高模型中衡

量排序质量的指标，采用了大规模数据预训练模型进行进一步修改，采用了动态

词嵌入，并且通过大量数据集的预先训练，然后在下游任务视觉对话任务中进行

微调，使之拟合效果词嵌入本模型在相比于多输入Transformer模型上效果取得

进一步提高。并且从另一个角度构建了新的文本段落关系，针对视觉对话任务的

三个特征进行了改进，融合问题与历史信息成为一个新的特征信息，并以此来与

视觉特征进行融合，基于BERT模型的多层语义粒度视觉对话算法相较于传统模

型拥有一定的优越性。

为了评估本文所提出模型的有效性，本文将其与主流先进算法在两个公开数

据集上进行了比较，分别是视觉对话公开数据集VisDialv0.9和VisDialv1.0。结

果表明，本文所提出的模型取得了新的、较为优越的性能。

关键词：深度学习；视觉对话；跨模态融合；Transformer；段落级别；BERT

I

Abstract

Withtherapidupdatesanditerationsinthefieldsofcomputervisionandnatural

language,cross-modalvisualdialoguetaskshavebecomeanemergingtechnologyin

recentyears,whichcombinesthreefeaturesofimagerecognition,relationalreasoning

andnaturallanguageunderstanding,andisapopularandchallengingcross-modal

visuallanguagetaskinrecentyears.Therefore,avarietyofmethodsandtechniques

areneededtosearchforusefulinformationtomeetthecomplexinteraction

requirementsfordifferentmodalfeaturesandtheproblemathand.Toachievethis

goal,modelsneedtobeabletoextractvaluableinformationfromvisualcues(image

information)andtextualknowledge(dialoguehistoryinformation),an