基于因果推理的视觉问答研究综述.docVIP

基于因果推理的视觉问答研究综述

视觉问答（VisualQuestionAnswering,VQA）作为计算机视觉与自然语言处理交叉领域的核心任务，旨在让模型根据输入图像回答用户提出的自然语言问题，其研究成果可广泛应用于智能客服、辅助医疗诊断、自动驾驶场景交互、视障人士辅助等多个领域。传统视觉问答模型多基于统计关联学习，通过拟合训练数据中视觉特征、问题语义与答案之间的共现关系实现推理，但这类模型往往存在对数据偏差的过度依赖、泛化能力不足、可解释性差等痛点。近年来，因果推理理论的引入为解决上述问题提供了新的研究范式，相关研究成果层出不穷，已成为视觉问答领域的重要发展方向。

一、传统视觉问答的核心局限与因果视角的问题本质

传统视觉问答模型的典型架构通常包含视觉特征提取模块、文本语义编码模块、跨模态融合模块以及答案预测模块，训练目标以最小化答案分类损失或回归损失为主。这类方法在标准数据集上往往能取得较高的准确率，但在分布外测试场景下性能会出现显著下降，其根本原因在于模型学习到的是数据中的虚假关联而非真正的推理逻辑。例如在VQAv2数据集中，若“草坪”与“绿色”的共现概率极高，模型会倾向于直接根据问题中的“颜色”关键词和“草坪”视觉特征直接输出“绿色”，而忽略实际图像中可能存在的黄色枯草等特殊场景，这种“捷径学习”（ShortcutLearning）现象正是统计关联模型的固有缺陷。