文本视觉问答综述.pdfVIP

第50卷第2期/2024年2月/计算机工程综述论文

文本视觉问答综述

朱贵德，黄海*

（浙江理工大学计算机科学与技术学院（人工智能学院），浙江杭州310018）

摘要：传统视觉问答（VQA）大多只关注图像中的视觉对象信息，忽略了对图像中文本信息的关注。文本视觉问

答(TextVQA)除了视觉信息外还关注了图像中的文本信息，能够更加准确并高效地回答问题。近年来，TextVQA已

经成为多模态领域的研究热点，在自动驾驶、场景理解等包含文本信息的场景中有重要的应用前景。阐述

TextVQA的概念以及存在的问题与挑战，从方法、数据集、未来研究方向等方面对TextVQA任务进行系统性的分

析。总结现有的TextVQA研究方法，并将其归纳为3个阶段，分别为特征提取阶段、特征融合阶段和答案预测阶

段。根据融合阶段使用方法的不同，从简单注意力方法、基于Transformer方法和基于预训练方法这3个方面对

TextVQA方法进行阐述，分析对比不同方法的特点以及在公开数据集中的表现。介绍TextVQA领域4种常用的公

共数据集，并对它们的特点和评价指标进行分析。在此基础上，探讨当前TextVQA任务中存在的问题与挑战，并对

该领域未来的研究方向进行展望。

关键词：文本视觉问答；文本信息；自然语言处理；计算机视觉；多模态融合

中图分类号：TP18文献标志码：ADOI：10.19678/j.issn.1000-3428.0067514

SurveyofText-basedVisualQuestionAnswering

ZHUGuide，HUANGHai*

（SchoolofComputerScienceandTechnology（SchoolofArtificialIntelligence），ZhejiangSci-TechUniversity，

Hangzhou310018，Zhejiang，China）

【Abstract】TraditionalVisualQuestionAnswering（VQA）onlyfocusesonthevisualobjectinformationintheimage，

ignoringthetextinformationintheimage.Inadditiontovisualinformation，Text-basedVisualQuestionAnswering

（TextVQA）alsofocusesonthetextinformationintheimage，whichcananswerquestionsmoreaccuratelyand

efficiently.Inrecentyears，TextVQAhasbecomearesearchfocalpointinthefieldofmultimodality，andithas

importantapplicationprospectsinthefieldofscenescontainingtextinformation，suchasautomaticdrivingandscene

understanding.ThispaperdescribestheconceptofTextVQAandtheexistingproblemsandchallenges，andma