基于图像描述与知识增强的教科书视觉问答研究.pdf

摘要

教科书视觉问答（TextbookQuestionAnswering,TQA）是智慧教育领域中的一个

核心多模态任务，它要求模型深度理解教科书中的图像、文本和问题，从而推理出

正确答案。目前，通用领域的视觉问答方法已被广泛应用，但在特定领域中仍面临

挑战，主要是：1）模型在识别图像物体后，难以有效地将这些信息与文本中的关键

信息建立联系，且容易受到与问题无关的冗余信息干扰；2）大多采用融入文本知识

的技术，缺乏对视觉信息深入理解的多模态知识。针对以上问题，本文的主要工作

如下：

（1）提出了基于图像描述增强的教科书视觉问答方法。针对图文理解能力较弱

以及冗余信息对问答过程产生干扰的问题，本文利用具有丰富知识的大语言模型理

解问题与上下文，以及抽取问题关键词以及上下文相关语句，并且通过问题约束生

成细粒度图像描述，使模型能够理解图像中物体蕴含的学科知识，提高了模型在TQA

任务中的图文理解能力与推理能力。实验证明该方法不仅能够更准确地理解问题和

图像内容，还能够更有效地过滤掉冗余信息的干扰，从而提高了文本与视觉模态的

信息理解能力。

（2）提出了基于知识增强的教科书视觉问答方法。首先，本文将多模态知识表

示为显式三元组的形式，将视觉对象和事实答案与隐式关系联系起来。其次，利用

大语言模型中的隐式知识与构建的多模态知识相结合，以增强模型的推理能力。此

外，结合预训练和微调学习策略，逐步积累基础和特定领域的多模态知识以进行答

案预测。实验表明该方法可以有效地提高模型的推理能力，进而提高了准确率。

（3）构建了教科书视觉问答系统。本文基于上述所提方法设计并实现了一个教

科书视觉问答系统，该系统核心模块主要包括：1）文本分析模块；2）图像预处理

模块；3）图像描述模块；4）相似题目推荐模块；5）答案推理模块。系统进行了测

试，通过具体案例验证了其性能和效果。

综上，本文针对教科书视觉问答任务，提出了基于图像描述增强和知识增强的两

种方法，基于这两种方法构建了一个教科书视觉问答系统，并通过测试验证了其性

能和效果。

关键词：教科书视觉问答；智慧教育；视觉问答；多模态知识；图文理解增强

I

目录

摘要I

ABSTRACTII

1绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1多模态信息处理2

1.2.2视觉问答3

1.2.3图像描述5

1.2.4知识增强6

1.3本文研究内容7

1.4论文的组织结构8

2任务定义与分析11

2.1任务定义11

2.2任务难点分析12

2.3评价指标12

2.4相关数据集13

2.4.1VLQA数据集13

2.4.2TQA数据集13

2.5本章小结14

3基于图像描述增强的教科书视觉问答17

3.1研究动机17

3.2模型方法18

3.2.1模型框架18

3.2.1文本特征提取19

3.2.2图像特征提取20

3.2.3图像描述20

3.2.4答案推理22

3.3实验与分析22

3.3.1实验设置22

3.3.2基线模型22

3.3.3对比实验23

3.3.4消融实验24

3.3.5样例分析24

3.4本章小结25

4基于知识增强的教科书视觉问答27

4.1研究动机27