基于标签映射优化视觉提示方法研究.pdfVIP

理解和改进视觉提示：映射的角度

1,1,2,1,1,21密歇根州立大学，2

MIT‑WatsonAI，

3抽象的

2

0我们重新审视并改进视觉提示（VP），这是一种

2用于视觉任务的输入提示技术。VP可以通过简单地将

r通用提示（就输入扰动模式而言）合并到下游数据点中，

a

M对固定的、预先训练的源模型进行重新编程，以完成目

标域中的下游任务。然而，即使在源类和目标类之间存在

4

2无规则映射(LM)的情况下，VP仍然有效的原

因仍然难以理解。受上述启发，我们问：LM与VP有

]

V何关联？以及如何利用这种关系来提高其在目标任务上

C的准确性？我们深入研究了LM对VP的影响，并给出

.

s了肯定的：更好的LM“质量”（通过映度和解

c

[释来评估）可以持续提高VP的有效性。这与缺少

LM因素的现有技术形成对比。为了优化LM，我们提

5

v出了一种新的VP框架，称为ILM-VP（基于迭代映

5

3射的视觉提示），它自动将源重新映射到目标，

6并逐步提高VP的目标任务准确性。此外，当使用对比

1

1.语言图像预训练（CLIP）模型进行VP时，我们建议集图1.VP管道概述（现有技术[1,2]和我们的提案称为ILM‑VP）以及

成LM过程来辅助CLIP的文本提示选择并提高目标任务

1ILM‑VP在目标图像分类任务上实现的准确性改进概览。一般来说，VP

1的准确性。大量实验表明，我们的建议明显优于最先进的目标是生成通用输入扰动模板（即“视觉提示”）并利用源‑目标LM

2的VP方法。如下所示，我们表明，当将ImageNet预（映射）来驱动固定源模型（例如在ImageNet‑1K上预训练）来执

2行目标任务（例如Flowers102图像分类）。与现有技术相比，我们的建

:训练的ResNet-18重新编程为13个目标任务时，

v议（ILM‑VP）将LM的设计与VP训练结合起来。由此产生的LM‑VP协

iILM-VP的性能大幅优于基线，例如，在向目标同设计使用固定的ImageNet预训练源模型提高了各种目标图像分类任

XFlowers102和CIFAR100数据集进行迁移学习时，准务的目标任务准确性。

r

a确率分别提高了7.9%和6.7%。此外，我们关于基于存在流任务，然后在目标数据集上对预训练模型进行

CLIP的VP的建议分别使Flowers102和DTD的准确微调。这种学习范式在经典迁移学习[3–8]以及

度提高了13.7%和7.1%。代码可在的深度表示学习[9–13]中占据主导地位。

获取。

然而，微调预训练模型需要部分或整个模型修改。

一、简介如果预训练模型尺寸很大，那么为每个下游任务

预训练模型的修改副本的成本就太高了。