面向图像文本的多模态处理方法综述.pdfVIP

第41卷第5期计算机应用研究Vol.41No.5

2024年5月ApplicationResearchofComputersMay2024

面向图像文本的多模态处理方法综述

姜丽梅，李秉龙

（华北电力大学（保定）计算机系，河北保定071003）

摘要：在深度学习领域，解决实际应用问题往往需要结合多种模态信息进行推理和决策，其中视觉和语言信

息是交互过程中重要的两种模态。在诸多应用场景中，处理多模态任务往往面临着模型架构组织方式庞杂、训

练方法效率低下等问题。综合以上问题，梳理了在图像文本多模态领域近五年的代表性成果。首先，从主流的

多模态任务出发,介绍了相关文本和图像多模态数据集以及预训练目标。其次，考虑以Transformer为基础结构

的视觉语言模型，结合特征提取方法，从多模态组织架构、跨模态融合方法等角度进行分析，总结比较不同处理

策略的共性和差异性。然后从数据输入、结构组件等多角度介绍模型的轻量化方法。最后，对基于图像文本的

多模态方法未来的研究方向进行了展望。

关键词：多模态；架构；融合；轻量化

中图分类号：TP18文献标志码：A文章编号：1001-3695(2024)05-001-1281-10

doi:10.19734/j.issn.1001-3695.2023.08.0398

Comprehensivereviewofmultimodalprocessingmethodsforimage-text

JiangLimei,LiBinglong

(Dept.ofComputerScience,NorthChinaElectricPowerUniversity(Baoding),BaodingHebei071003,China)

Abstract:Inthefieldofdeeplearning,solvingproblemsoftenrequirescombiningmultiplemodalinformationforreasoning

anddecision-making,amongwhichvisualandlanguageinformationaretwoimportantmodalitiesintheinteractionprocess.In

manyapplicationscenarios,processingmulti-modaltasksoftenfacesproblemssuchascomplexmodelarchitectureorganization

andinefficienttrainingmethods.Basedontheaboveproblems,thispaperreviewedtherepresentativeachievementsinthefield

ofmultimodalimagetextinthepastfiveyears.Thispaperfirststartedfromthemainstreammulti-modaltasksandintroduced

relatedtextandimagemulti-modaldatasetsandpre-trainingtargets.Secondly,consideringthevisuallanguagemodelbasedon

Transformerandthefeatureextractionmethod,thispaperanalyzedfromtheperspectives