迈向可持续自监督学习 基于目标增强的条件掩码 重建自监督学习.docx

中国科学:信息科学2025年第55卷第2期:326–342

SCIENTIASINICAInformationis

论文

论文

《中国科学》杂志社SCIENCECHINAPRESS

crossMark

迈向可持续自监督学习:基于目标增强的条件掩码重建自监督学习

高尚华1,周攀2,程明明1*,颜水成3

1.南开大学计算机学院,天津300350,中国

2.SchoolofComputingandInformationSystems,SingaporeManagementUniversity,Singapore178902,Singapore

3.SkyworkAI,Singapore178902,Singapore

*通信作者.E-mail:cmm@

收稿日期:2024–06–10;修回日期:2024–08–29;接受日期:2024–10–12;网络出版日期:2025–01–23国家自然科学基金杰出青年科学基金项目(批准号:资助

摘要自监督学习(self-supervisedlearning,SSL)训练成本日益攀升,而仅有少数最先进的模型会被应用于下游任务.为了降低自监督学习的训练成本,本文探索了一个旨在实现可持续SSL训练的框架.

该框架通过高效重复利用现有的SSL模型(即基模型),以低成本的方式训练出性能更优的新SSL模型,从而有效应对了高昂训练成本的挑战.该框架设计了兼容机制,确保新SSL模型的训练过程能够与具有不同特性的现有SSL模型相适配,实现了对现有SSL模型的最大化重复利用.为实现上述目标,我们提出了目标增强的条件掩码重建(target-enhancedconditional,TEC)方案,该方案在基于掩码重建的SSL算法中引入了两个新组件.首先,我们提出了区域间关系增强策略,以增强基模型提供的重建目标中的区域间关系信息,并使新模型利用不完整的输入来预测基模型提供的目标,从而学习基模型中的语义关系知识.由于该策略使新模型能够处理不完整的输入,有效地提升了新模型在区域间关系建模方面的能力,进而助力新模型实现对基模型的性能超越.其次,我们引入了一个条件适配器,通过调整新模型的预测方式以匹配不同基模型提供的重建目标.大量的实验结果表明,本文的TEC方案不仅可以加快学习速度,还可以提升如MAE和iBOT等现在最优的SSL基模型的性能.该方案朝着可持续的自监督学习迈出了探索性的一步.本文工作代码在/sail-sg/tec开源.

关键词可持续,自监督学习,预训练,图像掩码建模

1介绍

自监督学习(self-supervisedlearning,SSL)在无监督表征学习领域取得了显著的成功,在分类[1,2]、目标检测和分割[3,4]等许多下游任务中展现出了惊人的性能提升.在SSL训练过程中,首先需要构建一个代理任务,如实例判别任务[5,6]或掩码图像建模(maskedimagemodeling,MIM)[3,4],然后通过该

引用格式:高尚华,周攀,程明明,等.迈向可持续自监督学习:基于目标增强的条件掩码重建自监督学习.中国科学:信息科学,2025,55:326–342,doi:10.1360/SSI-2024-0176

GaoSH,ZhouP,ChengM-M,etal.Towardssustainableself-supervisedlearning:target-enhancedconditionalmask-reconstructionforself-supervisedlearning.SciSinInform,2025,55:326–342,doi:10.1360/SSI-2024-0176

?c2025《中国科学》杂志社

/doi/10.1360/SSI-2024-0176

高尚华等中国科学:信息科学2025年第55卷第2期327

图1(网络版彩图)可持续自监督学习的概念.一个新的SSL模型通