基于视觉问答的环境智能理解研究.pdfVIP

基于视觉问答的环境智能理解研究

摘要

随着计算机硬件的进步以及算力的提升，人工智能技术应用在生活中实现机器智能

化进程正在稳步推进。为了追求机器高度自动化与智能化的目标，有效提高人工智能对

于周边复杂环境的智能理解程度势在必行，因此在环境智能理解领域中将视觉与文本相

结合的视觉问答技术引起了广大研究人员的注意。然而当前的视觉问答模型在模态融合

过程前缺少对两种模态中关键信息的理解，以及在模态融合过程中对关键信息的推理能

力较弱且复杂度难以控制造成环境理解不够充分，所以视觉问答模型需要提高对图像与

文本中关键信息的专注度，以完成对环境的智能理解。

针对目前存在的问题，本文提出了三个新颖的解决方案并对其中的模态融合环节、

注意力机制环节以及推理环节做了一些改进。本文主要工作如下：

第一，开展基于多模态特征融合的视觉问答环境智能理解方案研究。为了增加多模

态信息之间的融合程度，同时避免融合之后参数数量急剧增加的现象，本文提出双线性

特征向量融合与张量分解模块，该模块引入算子对问题和图像的特征向量进行模积融合，

使用张量分解产生的特征状态向量以预测答案，并且进行性能测试，该模块有效提高了

模态间信息的融合能力并且在融合过程中保持了较好的可解释性。

第二，开展基于协同注意力机制的视觉问答环境智能理解方案研究。为了增加模型

对环境中不同模态间关键信息的专注度与交互能力，本文提出协同注意力关注网络，该

网络使用自注意力单元分别对问题和图像的特征进行自注意力计算，之后使用协同注意

力单元借助问题特征信息引导图像区域的注意力进行建模，该网络有效将问题中的关键

词特征与图像中的关键对象特征高度关联起来，增强了模型对关键信息的关注能力。

第三，开展基于图神经网络推理的视觉问答环境智能理解方案研究。为了增加模型

对环境的关系推理能力，本文提出一个在图神经网络中应用协同注意力推理机制的框架，

该框架首先将图像中的物体特征构建为图神经网络的初始状态，表示相邻物体间的关系，

然后使用协同注意力机制将问题特征作为导向在图神经网络上进行推理迭代，有效提高

了模型对环境中物体之间关系的推理能力，增强了模型在理解环境过程中的智能性。

在基准数据集与自建图文数据集上的验证结果表明，本文提出的三种视觉问答解决

方案能够很好的把握不同环境中的文本特征和图像特征，并进行深层的信息交互与关系

推理，能够缩小文本与图像之间的鸿沟，验证了本文方案在环境智能理解中的有效性。

关键词：环境理解；视觉问答；多模态融合；注意力机制；图网络推理

基于视觉问答的环境智能理解研究

ABSTRACT

Withtheprogressofcomputerhardwareandtheimprovementofcomputingpower,the

applicationofartificialintelligencetechnologytoachievemachineintelligenceindailylifeis

steadilyadvancing.Inordertopursuethegoalofhighlyautomatedandintelligentmachines,it

isimperativetoeffectivelyimprovetheintelligentunderstandingofartificialintelligencefor

thesurroundingcomplexenvironment.Therefore,thevisualquestionandanswertechnology

thatcombinesvisionandtextinthefieldofambientintelligenceunderstandinghasattracted

theattentionofresearchers.However,thecurrentvisualQAmodellacksunderstandingof

keyinformationinbothmodalitiesbeforethemo