视觉提示学习综述.pdfVIP

第47卷第4期计算机学报Vol.47No.4.

2024年4月CHINESEJOURNALOFCOMPUTERSApr.2024

视觉提示学习综述

严骏驰1)

廖宁1）曹敏2

1)（上海交通大学人工智能教育部重点实验室上海200240）

2）（苏州大学计算机科学与技术学院江苏苏州215021）

摘要近年来，随着提示学习方法在自然语言处理领域被提出，其日益受到研究人员广泛关注，它通过将各类下

游任务重构成预训练任务的形式，以参数高效和数据高效的方式将大规模预训练模型应用在各类自然语言相关下

游任务中.其中以GPT系列为代表的模型通过提示学习在对话生成和多模态图文理解等任务上取得了巨大的成

功.然而，这类模型及方法还不能解决视觉中的稠密任务.受此启发，一些研究人员逐渐将提示学习广泛应用到视

觉相关的各类任务当中，如图像识别、目标检测、图像分割、领域适应、持续学习等.由于目前还没有提示学习应用

在视觉相关领域中的综述，本文将对视觉单模态领域以及视觉语言多模态领域的提示学习方法展开全面论述和分

析.作为回顾，我们首先简要介绍自然语言处理领域的预训练模型，并对提示学习的基本概念、下游应用形式以及

提示模板类型进行阐述和分类.其次，我们分别介绍视觉单模态领域以及视觉语言多模态领域里提示学习方法适

配的预训练模型和任务.再次，我们分别介绍视觉单模态领域以及视觉语言多模态领域的提示学习方法.在自然语

言处理领域，提示学习方法以继承预训练形式实现多任务统一为主要目的；与此不同，在视觉相关领域，提示学习

方法侧重于面向特定下游任务进行设计.为此，我们将从方法设计上进行简单分类，然后从应用任务角度详细介绍

视觉单模态提示学习和视觉语言多模态提示学习方法.最后，我们对比分析了自然语言处理领域和视觉相关领域

提示学习研究的进展，并对未来研究路线给出了展望，

关键词大规模预训练模型；自然语言处理；视觉单模态提示学习；视觉语言多模态提示学习

中图法分类号TP18D0I号10.11897/SP.J.1016.2024.00790

VisualPromptLearning:ASurvey

LIAONing’CAOMin?）YANJun-Chil)

(KeyLaboratoryofArtificialIntelligence,MinistryofEducation,ShanghaiJiaoTongUniversity,Shanghai200240)

2(SchoolofComputerScienceandTechnology,SoochowUniversity,Suzhou,Jiangsu215021)

AbstractWiththerapiddevelopmentofdeeplearningmodelsandtheincreasingparametersize,

fine-tuningtheentiremodelinvariousdownstreamapplicationswithdifferentobjectivesis

prohibitive.Tosolvethissignificantissue,promptlearninghasbeenprimarilyproposedinthe

fieldofnaturallanguageprocessing(NLP),andhasbeenwidelystudiedinrecentyears.By

reformulatingvariousdownstreamtasksa