迷失在翻译中？ 源自由域适应中的词汇对齐在开放词汇语义分割中的应用.pdfVIP

SILVIOMAZZUCCOETAL.:LOSTINTRANSLATION?VOCALIGN1

迷失在翻译中？

源自由域适应中的词汇对齐在开放词汇语义分

割中的应用

SilvioMazzucco1,21TheGoodAILab

silvio.mazzucco@thegoodailab组织

12ETHZurich

CarlPersson

carl.persson@3Google

本

MattiaSegu1,2,34TechnicalUniversityofMunich

译

mattia.segu@5INSAIT,SofiaUniversity,

中

PierLuigiDovesi1St.KlimentOhridski

1

pier@6UniversityofBologna

v

5

FedericoTombari3,4

2

2*jointfirstauthorship

tombari@

5

15

LucVanGool.

9

vangool@vision.ee.ethz.ch

0

5

MatteoPoggi1,6

2

:

m.poggi@unibo.it

v

i

x

r

a

摘要

我们介绍了一个全新的无源域适应框架声学对齐，专门用于开放词汇语义分

割中的VLMs。我们的方法采用了一种增强的师生范式，结合了词汇对齐策略，

通过引入额外的类概念来改进伪标签生成。为了确保效率，我们使用低秩适应

（LoRA）对模型进行微调，在保持其原始能力的同时最小化计算开销。此外，我

们为学生模型提出了一种Top-K类选择机制，这显著减少了内存需求并进一步

提高了适应性能。我们的方法在CityScapes数据集上取得了显著的+6.11平均

交并比提升，并在零样本分割基准测试中表现出色，为开放词汇设置下的无源域

适应设定了新标准。

项目页面：/blog/vocalign

©2025.Thecopyrightofthisdocumentresideswithitsauthors.

Itmaybedistributedunchangedfreelyinprintorelectronicforms.

2SILVIOMAZZUCCOETAL.:LOSTINTRANSLATION?VOCALIGN

Concepts

IoUComparisonforSelectedClasses

50

Method

Baseline