面向医学视觉问答的多模态特征融合方法研究.pdfVIP

面向医学视觉问答的多模态特征融合方法研究

摘要

医学视觉问答（MedicalVisualQuestionAnswering，MVQA）是在视觉问答（Visual

QuestionAnswering，VQA）基础上发展起来面向医学领域的特定视觉问答任务，它可以

使计算机在观察并理解医学影像后回答与影像相关的问题，从而为医生提供临床决策辅

助。但是，现阶段研究中普遍存在多模态特征表示能力不足以及多模态特征融合效果不

佳的问题，导致医学VQA模型整体准确率并不理想。

为了解决上述问题，本文首先提出跨模态传输注意交叉融合网络（CrossModal

TransferAttentionCrossFusionNetwork，CMTACF），运用注意力机制对文本特征进行

处理，获得更高语义的文本特征；改进了ResNet方法，对各个特征通道进行软阈值化，

提升图像注意的准确性；同时针对于传统医学VQA任务对多模态特征之间的关联性关

注较弱的问题，提出跨模态传输模块，在中间层对特征进行融合，从而校准输入特征；

最后对传输网络进行交叉计算，使融合后的特征更加专注于图像和问题的细粒度部分，

捕捉不同模态特征中更紧密的相关性，实现文本信息与医学影像之间的全面交互。模型

在VQA-RAD数据集上的整体准确率达到78.0%，在SLAKE数据集上的整体准确率达

到83.9%，证明了所提方法的有效性。

在CMTACF的基础上，为进一步提升多模态特征融合网络的特征提取以及融合效

果，本文提出基于密集连接注意力流的多模态特征融合网络（MultimodalFeatureFusion

NetworkBasedOnDenselyConnectedAttentionFlow，DCAMNet），结合元学习对图像特

征进行多维度特征提取，加速了医学VQA模型的收敛，并且利用卷积去噪编码器降低

了噪声问题对特征融合有效性的影响；同时构建SE-ResNet对提取的图像特征进行权重

分配，进一步优化图像特征提取过程；结合注意力机制构建语义注意模块，减少模型对

无关信息的关注；最后基于密集连接注意力流构建特征融合模块，解决传统堆叠方式的

梯度流损失以及特征交互次数有限的问题，充分捕获图像和问题间的细粒度相互作用，

产生交互感知的注意力特征。最终在VQA-RAD和SLAKE数据集上的整体准确率分别

达到了78.5%和84.3%，与领域内相关工作相比有一定的提升。

关键词：医学视觉问答；多模态特征融合；注意力机制

面向医学视觉问答的多模态特征融合方法研究

Abstract

MedicalVisualQuestionAnswering(MVQA)isaspecificvisualquestionansweringtask

forthemedicalfielddevelopedonthebasisofvisualquestionanswering(VQA).Itenables

computerstoanswerquestionsrelatedtomedicalimagesafterobservingandunderstanding

medicalimages,therebyprovidingclinicaldecisionsupportfordoctors.However,incurrent

research,therearegenerallyproblemssuchasinsufficientmultimodalfeaturerepresentation

capabilitiesandpoormultimodalfeaturefusioneffects,resultingintheoverallaccuracyof

medicalVQAmodelsbeingunsatisfactory.

Inordertosolvetheaboveproblems,thispaperfirstproposedaCrossModal