VeS: 无监督教学像素聆听.pdfVIP

VeS:无监督教学像素聆听

SajayRaj

IndianInstituteofTechnology,Madras

sajayraj08@

Abstract[4,5]。

我们探究哪种对比性聚合策略在没有文本或空间

近期密集的音视频（AV）模型在检索和自发定位[3,8]监督的情况下，对于嘈杂的多语言语音-图像对齐最有

本方面取得了令人印象深刻的成绩，但几乎所有证据都来效。使用大规模项目瓦阿尼数据集[4,5]，我们在相同

自以英语为中心且字幕丰富的网络视频。这些目标生存的骨干网络下比较了三种方法：（1）一种全局CLIP风

译是否能在低资源、代码切换以及嘈杂的多语言环境中取格的平均池化损失[8]，（2）一种密集最大-平均标记匹

中得效果尚不清楚，而这种环境正是发展中地区的特点。配损失[3]，以及（3）两者的简单混合。

1我们展示了它们确实能做到——而且这一聚合函数的关键发现。聚合函数至关重要。密集目标优于全局

v选择变得更加关键。使用涵盖数十种印度语言和方言池化（+59%相对R@1AV），并始终产生清晰的语

8

0变体的多语种子集项目瓦阿尼[4,5]，我们比较了三个音对象零样本定位。这表明密集标记路由并非高资源

0对比目标：(i)全局平均池化损失（CLIP风格[8]），(ii)语料库的奢侈品，而是在数据质量和注释稀缺时变得

2

2.密集最大-均值标记匹配器（DenseAV风格[3]），以及更多决定性。

7(iii)一个简单的混合模型（受冻结视觉对齐策略[6,10]所有实验均在一个单个24GB消费级GPU上运

0

5启发）。密集目标传递一个+59%相对R@1(音频视行，通过冻结视觉主干[7,10]和轻量级适配器[6]来实

2觉)优于全局池化的改进，并显著降低平均/中位数排

:现，强调了可访问性。我们发布代码和模型以促进包容

v名，同时始终生成口语化对象的锐利的零样本定位热性的AV研究。

i

x图——尽管保持了视觉骨干完全冻结（无LoRA/部

r

a分微调）。1.1.现有工作

我们的结果表明，密集令牌路由是不高资源英语视听对比学习。早期关于跨模态检索的研究采用

语料库的奢侈品；当注释和声学清洁度稀缺时，它至关了来自图像-文本预训练的全局池化目标。CLIP的全局

重要更多。InfoNCE损失[8]提供了强大的零样本迁移能力，但丢

1

我们发布代码库和训练模型。弃了定位至关重要的空间/时间结构。LiT表明，即使

在视觉骨干网络是冻结的并且仅调整投影头的情况下，

竞争性迁移也是可能的[10]，我们采用这个想法来保持

1.介绍

在单个24GBGPU上的训练。

自监督的音视（AV）学习已迅速发展，取得了令晚期交互/令牌级目标。DenseAV引入了一种双向