提示学习在计算机视觉中的分类、应用及展望.pdfVIP

第

51

卷

第

5

期自

动

化

学

报Vol.

51,

No.

5

2025

年

5

月ACTA

AUTOMATICA

SINICAMay,

2025

提示学习在计算机视觉中的分类、应用及展望

111112

刘袁缘

刘树阳

刘云娇

袁雨晨

唐

厂

罗

威

摘要随着计算机视觉(CV)的快速发展,

人们对于提高视觉任务的性能和泛化能力的需求不断增长,

导致模型的复杂

度与对各种资源的需求进一步提高.

提示学习(PL)作为一种能有效地提升模型性能和泛化能力、重用预训练模型和降低计

算量的方法,

在一系列下游视觉任务中受到广泛的关注与研究.

然而,

现有的PL综述缺乏对PL方法全面的分类和讨论,

也缺乏对现有实验结果进行深入的研究以评估现有方法的优缺点.

因此,

本文对PL在CV领域的分类、应用和性能进行全

面的概述.

首先,

介绍PL的研究背景和定义,

并简要回顾CV领域中PL研究的最新进展.

其次,

对目前CV领域中的PL

方法进行分类,

包括文本提示、视觉提示和视觉−语言联合提示,

对每类PL方法进行详细阐述并探讨其优缺点.

接着,

综述

PL在十个常见下游视觉任务中的最新进展.

此外,

提供三个CV应用的实验结果并进行总结和分析,

全面讨论不同PL方

法在CV领域的表现.

最后,

基于上述讨论对PL在CV领域面临的挑战和机遇进行分析,

为进一步推动PL在CV领域的

发展提供前瞻性的思考.

关键词计算机视觉,

提示学习,

视觉−语言大模型,

预训练模型

引用格式

刘袁缘,

刘树阳,

刘云娇,

袁雨晨,

唐厂,

罗威.

提示学习在计算机视觉中的分类、应用及展望.

自动化学报,

2025,

51(5):

1021−1040

DOI

10.16383/j.aas.c240177

CSTR

32138.14.j.aas.c240177

TheClassification,Applications,andProspectsofPromptLearninginComputerVision

111112

LIU

Yuan-Yuan

LIU

Shu-Yang

LIU

Yun-Jiao

YUAN

Yu-Chen

TANG

Chang

LUO

Wei

AbstractWith

the

rapid

development

of

computer

vision

(CV),

the

growing

demand

for

improving

the

perform-

ance

and

generalization

of

visual

tasks

has

led

to

a

further

increase

in

model

complexity

and

the

need

for

various

re-

sources.

Prompt

learning

(PL),

as

a

method

to

effectively

enhance

model

performance

and

generalization,

reuse

pre-

tra