基础问题生成结合问题嵌入用于视频问答-计算机科学-大语言模型-时空信息-视频问答-多模态.pdfVIP

基础问题生成结合问题嵌入用于视频问答

Ju-YoungOh,Ho-JoongKim,andSeong-WhanLee

Abstract—视频问答（VQA）是一种多模态任务，需要对

视频进行解读以回答给定的问题。现有的VQA方法主要利用问

题和答案（QA）对来学习视频内容的时空特征。然而，这些标

注通常是事件中心的，不足以捕捉每个视频的更广泛背景。缺

少诸如对象类型、空间布局和描述性属性等关键细节限制了模

型仅能学习到片段化的场景表示。这个问题限制了模型的一般

化能力和高级推理能力。本文中，我们提出了一种结合问题嵌入

用于视频问答的基本问题生成方法（FIQ），这是一种旨在通过

增强对视频的基本理解来加强模型推理能力的新方法。FIQ基

本于从视频中提取的描述生成QA对，丰富了训练数据中的基

本场景信息。生成的QA对使模型能够理解主要背景，从而增

译强了泛化能力和推理能力。此外，我们引入了一个VQ-CAlign

中模块，该模块帮助任务特定的问题嵌入与视觉特征结合，确保

保留关键领域特定细节以增加下游任务的适应性。在SUTD-

1

vTrafficQA上的实验表明，我们的FIQ相比现有的基准方法达

6到了最先进的性能。

1IndexTerms—时空信息，视频问答，多模态

8Fig.1.现有数据集仅关注视频的事件中心信息，但不涉及视频的基本信

2息，如物体的形状、颜色和方向。

1I.介绍

.

7视频问答（VQA）是一项结合了计算机视觉和自觉和文本编码器，并且CLIP提供了这两种编码器。

0

5然语言处理的多模态任务[1]，要求模型根据对视频中FrozenBiLM[10]引入了一个轻量级模块，该模块通过

2

:动态事件的理解来回答给定的问题。由于其在教育、掩码语言建模将冻结的来自CLIP的图像编码器与冻

v

i医疗保健和监控系统等各个领域中的重要性和广泛应结的双向语言模型连接起来，以实现有效的多模式推

x

r用，VQA受到了极大的关注[2]。尽管近年来现有工理。ViLA[11]提出了QFormer-Distiller模块，通过从

a

作的进展显著且任务应用广泛，自然语言与视觉特征BLIP[12]中教授Q-Former来增强两种模态之间的对

的对齐仍然是一项挑战。最近的研究在此领域展示了齐。尽管CLIP提供了强大的跨模式特征，但它是在静

显著的进步，各种工作[3]–[5]通过将两种模态对齐取态图像上进行预训练的，因此依赖于文本注释来提供

得了显著成果。时空上下文。然而，当前的VQA数据集通常提供以事

现有的VQA方法采用基于CLIP的编码器来利件为中心的文本注释，经常忽略诸如对象身份、形状

用其从大规模数据预训练知识中获得的图像-文本对或颜色等基本场景属性。虽然以事件为中心的注释已

齐能力。尽管存在专门针对视频数据的基于视频的经提供了语义线索，但它们仅提供部分场景表示，从

编码器[6]–[9]，视觉-文本对齐需要预先训练好的视而限制了模型只能获得每个场景的部分理解。

*ThisresearchwassupportedbytheInstituteofInformation图1展示了仅在事件中心注释上训练的VQA模

CommunicationsTechnologyPlanningEvaluation(IITP)grant,型专注于部分场景的一个示例。该模型专注于发生碰

fundedbytheKoreagovernment(MSIT)(No.RS-2019-II190079

(Artif