一种基于多模态深度特征融合的视觉问答模型.pdfVIP

://

httwww．skx．com

pjj

:/

DOI１０．１１８９６skx．２１１２００３０３

jj

一种基于多模态深度特征融合的视觉问答模型

,,

邹芸竹１杜圣东１２滕飞１李天瑞１２

西南交通大学计算机与人工智能学院成都

１６１１７５６

综合交通大数据应用技术国家工程实验室成都

２６１１７５６

()

zz５９０＠m．swtu．edu．cn

yyj

,,,

摘要大数据时代随着多源异构数据的爆炸式增长多模态数据融合问题备受研究者的关注其中视觉问答因需要图文协

.,

同处理而成为当前多模态数据融合研究的热点视觉问答任务主要是对图像和文本两类模态数据进行特征关联与融合表示

.,

最后进行推理学习给出结论传统的视觉问答模型在特征融合时容易缺失模态关键信息且大多数方法停留在数据之间浅层

,.,

的特征关联表示学习较少考虑深层的语义特征融合针对上述问题提出了一种基于图文特征跨模态深度交互的视觉问答模

.,

型该模型利用卷积神经网络和长短时记忆网络分别获取图像和文本两种模态数据特征然后利用元注意力单元组合建立的

,,

新型深度注意力学习网络实现图文模态内部与模态之间的注意力特征交互式学习最后对学习特征进行多模态融合表示并进

.,,,.

行推理预测输出在VQAＧv２．０数据集上进行了模型实验和测试结果表明与基线模型相比所提模型的性能有明显提升

:;;;;

关键词视觉问答多模态特征融合注意力机制深度学习数据融合

中图法分类号TP３９１．４１

VisualuestionAnswerinModelBasedonMultiＧmodalDeeFeatureFusion

Qgp

,,

１１２１１２

,,