基于对抗组合模块网络视觉问题推理方法研究.pdfVIP

基于通用依存树的视觉问题推理

李百灵

中山大学数据科学与计算机学院caoqx@,

xdliang328@.com,

liblin3@,liguanbin@,linliang@

对于可解释的视觉问答（VQA）系统来说，针对

每对图像‑问题进行协同推理非常关键，但目前研究仍

不足。尽管的一些工作也尝试通过显式的组合过

程来整合问题中包含的多个子任务，但这些模型严重

依赖于标注数据或手工设计的规则来获取有效的推理

结构，导致需要大量人工或在组合推理方面表现

不佳。本文中，为了在多样且的场景下更好地

对齐图像与语言领域，实现全局上下文推理，我们提

出了一种新颖的推理网络——对抗组合模块网络

（AdversarialCompositionModularNetwork,

ACMN）。该网络包含两个协同模块：i）对抗注意力

模块，用于挖掘从问题中解析出的每个的局部视

觉；ii）残差组合模块，用于整合之前挖掘出的证

据。给定每个问题的依存句法树后，对抗注意力模块图1：我们对抗组合模块网络（ACMN）示意图，

通过以对抗方式密集结合子词节点的区域，逐步发现该网络在从问题解析得到的依存树上顺序执行推理。

每个词的显著区域；然后，残差组合模块通过求和池基于前面的词节点，我们的ACMN通过对抗注意力模块

化和残差连接，融合任意数量子节点的隐藏表示。因交替挖掘具有修饰关系节点的视觉，并通过残差

此，我们的ACMN能够构建一个可解释的VQA系统，组合模块整合具有从句谓语关系节点的子节点特征。

沿着问题驱动的推理路径逐步深入挖掘图像线索，并

以一种有原则的方式整合所有注意力模块中学习到的

知识，实现全局推理。在关系型数据集上的实验表明1.引言

了我们ACMN的优越性，可视化结果也展示了该推理

视觉问答（VQA）任务的目标是根据给定的图像

系统的可解释能力。

和文本问题预测出正确的。完成该任务的关键在

于能够对图像和语言两个领域进行联合推理。然而，

大多数先前的方法[21,20,16]更像是一种黑盒方式，

∗通讯作者为林倞。本研究工作得到了国家重点研发计划（编号即简单地通过设计神经网络将视觉内容映射为文本词

2016YFB1001004）、国家自然科学基金（编汇。这些方法的主要缺点是缺乏对结果的解释能力，、省自然科学基金研究团队项目（编号

即为什么会产生这些？此外，已有研究表明，它

2017A030312006）资助，并由CCF‑腾讯开放研究基金资助。

们的准确性可能是通过

VisualQuestionReasoningonGeneralDependencyTree

QingxingCaoXiaodanLiangBailingLiGuanbinLiLiangLin∗

SchoolofDataandComputerScience,SunYat-senUniversity,

caoqx@,xdliang328@.com,