基于视觉问答模型的鲁棒性研究.pdfVIP

摘要

摘要

随着深度学习的快速发展，图像分类、物体检测和视觉问答等任务均取得了

显著进展。其中视觉问答任务涉及计算机视觉和自然语言处理领域，它要求模型

基于特定的图像、文本或视频回答问题，近年来受到了广泛关注。且由于跨模态

注意力机制、大规模多模态预训练方法等技术的不断涌现，该任务已愈发成熟。

然而，研究表明，视觉问答任务目前仍存在以下问题：一是现有的视觉问答模型

鲁棒性评估指标尚不全面和准确，模型对语言偏见及数据集分布极为敏感；二是

大型语言模型专注于处理语言信息，而在处理视觉信息方面仍存在局限性。因此，

如何有效结合视觉基础模型与大型语言模型，以提升系统在视觉问答任务中的准

确性与鲁棒性，已成为当前重要的研究方向。

针对第一个问题，本文提出了新的基于基础视觉问答模型的评估策略，在数

据分布变化最为明显的上下文中检验预测误差，并在VQA-CP、GQA、GQA-OOD

等三个基准数据集上对LSTM、BAN、BUTD、MCAN、MMN、LXMERT等六个

视觉问答模型进行了训练和评估。此外，本文还基于MMDialog和GQA数据集执

行了六个针对视觉与语言扰动的细粒度能力测试，以量化模型对微小语言变化的

鲁棒性和理解能力。实验结果表明，通过扩大数据集的规模以及使用大规模预训

练的LXMERT模型可以有效提高模型在低频样本上的鲁棒性。同时，视觉扰动测

试表明，即便是进行微小的扰动也可能导致模型性能下降。

针对第二个问题，本文构建了一个基于对比学习的跨模态预训练模型。该模

型使用深度残差网络ResNet50和ViT-B/16作为图像编码器，使用带有因果注意掩

码的Transformer架构作为文本编码器，从而精准捕获视觉和语言中的关键信息。

本文进一步设计了文本转换模块以及答案过滤模块，以优化有关文本数据处理的

技术流程并提高生成答案的准确性。本方法在VQA2.0基准数据集上进行实验，并

将所得结果与其他先进的方法做对比。实验结果表明，本文提出的模型在小样本

学习场景下优于基线模型，有效提升了视觉问答任务的准确性和泛化能力。

关键词：视觉问答任务，大规模预训练模型，评估策略，鲁棒性分析

I

ABSTRACT

ABSTRACT

Withtheswiftadcancementofdeeplearning,taskssuchasimageclassification,ob-

jectdetection,andvisualquestionansweringhaveseennotableprogress.Amongthem,

thevisualquestionansweringinvolvesbothcomputervisionandnaturallanguageprocess-

ing,requiringmodelstoanswerquestionsbasedonspecificimages,texts,orvideos.In

recentyears,ithasreceivedwidespreadattention.Moreover,duetothecontinuousemer-

genceoftechnologiessuchascross-modalattentionmechanismsandlarge-scalemulti-

modalpre-trainingmethods,thistaskhasbecomeincreasinglymature.However,research

hasshownthattherearestillthefollowingissuesinvisualquestionanswering.Firstly,the

existingevaluationmetricsfortherobustnessofvisualquestionansweringmodelsarenot

comprehensiveandaccurateenough,andthemodelsareextremelysensitiv