原创力文档- 6
- 0
- 约19.5万字
- 约 34页
- 2026-04-28 发布于北京
- 举报
MAEV2：使用双重掩码扩展掩码自动编
111,21223,22,31
,2,*,2,*童湛何一楠乔宇南
京大学新型软件技术国家重点，2，3
先进技术，
3
2
0
2
r规模是构建能够很好地泛化到各种下游任务的强大
a
M基础模型的主要因素。然而，训练具有数十亿参数的视
频基础模型仍然具有性。本文表明，掩码自编
9
2（MAE）是一种可扩展且通用的自-监督预-
训练器，用于构建基础模型。我们在模型和数据方
]
V面都对MAE进行了扩展，并采用了设计。具
C体而言，我们提出了一种双掩码策略，以实现高效的预
s.-训练，其中编在
文档评论（0）