阐明特征规范化在 IJEPA 中的作用.pdfVIP

阐明特征规范化在IJEPA中的作用

AdamColton

HarmonyAI

adam@

本Abstract

译在标准图像联合嵌入预测架构（IJEPA）中，教师编码器输出的特征会在用

中作学生编码器和预测器的知识蒸馏目标之前进行层归一化（LN）。我们提出

这种特征归一化会破坏视觉标记的自然能量层次结构，其中高能量标记（具

1

v有较大L2范数的那些）编码语义上重要的图像区域。LN迫使所有特征拥

9有相同的L2范数，从而有效等同了它们的能量，并阻止模型优先处理语义

2

8丰富的区域。我们发现使用特征LN训练的IJEPA模型表现出显著棋盘状伪

2影的损失图。我们提出用DynTanh激活函数替换特征LN，因为后者能更好

0

.地保留标记能量并允许高能量标记对预测损失做出更大的贡献。我们展示

8了使用特征DynTanh训练的IJEPA具有更长尾部的损失分布，并修复了损

0

5失图中的棋盘状伪影。我们的实证结果显示，这一简单修改将ViT-Small在

2ImageNet上的线性探针准确率从38%提高到42.7%，并在NYUDepthV2单

:

v目深度估计上降低了0.08的RMSE。这些结果表明，保留自然标记能量对

i

x于有效的自监督视觉表征学习至关重要。

r

a

1介绍

IJEPA已经成为一个成功的自监督框架，用于在不依赖标记数据的情况下学习判别性特征

[2]。IJEPA模型学会了将图像块编码为可用于预测掩码区域的特征，这一任务与掩码图像建

模（MIM）技术如掩码自动编码器（MAE）非常相似[11]。然而，该模型不是像MAE那样预

测真实像素值，而是预测从动量教师编码器获得的层标准化特征。这种替代策略的动机是观

察到学习预测潜在表示比学习预测逼真的像素值更有效地进行判别性特征编码[21,10,6]。

我们旨在解决IJEPA的一个关键但未充分探索的方面：编码器特征在用作预测模型的上下文

和目标之前是如何处理的。在标准的IJEPA实现中，学生编码器输出处的隐藏状态会先通过

一个LN，然后再传递给预测模型。然后，预测模型的任务是预测沿隐藏维度标准化后的被

掩盖的标记。编码器的LN可以被视为担任两个角色。首先，它通过压缩异常值的幅度来稳

定训练损失。其次，正如我们在实验中所展示的那样，它减少了大量样本上的损失方差。

虽然LN显示了强大的经验结果，但我们认为它引入了一个根本性的限制。LN通过等化每

个标记的统计特性稀释了能量层次结构。这种平坦的能量空间与我们获得能够理解哪些图像

区域包含更多判别信息的编码器的目标相冲突。我们假设特征LN减少了语义有意义标记的

意外性，并且用幅度保持的DynTanh替换特征LN将改善特征学习。

我们提出了一种修改后的IJEPA架构，其中LN被一个简单的DynTanh激活函数所替代。

DynTanh提供了类似于LN的稳定效果，同时保留了关于相对标记幅度[22]的重要信息。通

过比较在编码器输出处使