基于状态-动作联合掩码的自监督学习算法.pdfVIP

第34卷第11期计算机技术与发展Vol.34No.11

2024年11月COMPUTERTECHNOLOGYANDDEVELOPMENTNov.2024

基于状态-动作联合掩码的自监督学习算法

刘宇昕，项刘宇²,何召锋²,魏

运，吴惠甲？，王永钢

（1.北京邮电大学理学院，北京100876；

2.北京邮电大学人工智能学院，北京100876；

3.北京市地铁运营有限公司，北京100044）

摘要：视觉强化学习以原始图像作为输人，面临着观测空间维度高、余信息多、采样效率低等挑战。现有研究大多通

过构建一个自监督辅助任务来获取高维观测中的有效表征，然而这类方法仅关注状态特征，却忽略了动作空间中丰富的

语义信息。针对这一问题，提出一种基于状态-动作联合掩码的自监督学习算法，通过对状态和动作进行联合掩码重构，

从而学习到真正与任务相关的表征信息，提高采样效率。此外，为提高模型的鲁棒性，引人测试时自适应方法，在环境变

化时冻结强化学习策略网络，仅对状态-动作联合掩码模块进行少量更新，利用自监督信号帮助智能体快速适应新环境，

实验结果表明，该方法相比现有算法，在DMControl环境上的平均回报奖励提升了4.5%，在DMControl-GB环境上的平均

回报奖励提升了20.2%，有效提升了模型的性能。

关键词：视觉强化学习；自监督学习；掩码模型；测试时自适应；鲁棒性

中图分类号：TP183文献标识码：A文章编号：1673-629X(2024)11-0125-08

doi:10.20165/j.cnki.ISSN1673-629X.2024.0255

State-actionJointMask-basedSelf-supervisedLearningAlgorithm

LIUYu-xin,XIANGLiu-yu?,HEZhao-feng,WEIYun,WUHui-jia?,WANGYong-gang

(1.SchoolofScience,BeijingUniversityofPostsandTelecommunications,Beijing100876,China;

2.SchoolofArtificialIntelligence,BeijingUniversityofPostsandTelecommunications,Beijing100876,China;

3.BeijingSubwayOperationCo.,Limited,Beijing100044,China)

Abstract:Visualreinforcementlearning,whichtakesrawimagesasinput,faceschallengessuchashigh-dimensionalobservationspaces,

abundantredundantinformation,andlowsamplingefficiency.Mostexistingstudiesconstructaself-supervisedauxiliarytasktoobtain

effectiverepresentationsfromhigh-dimensionalobservations.However,thesemethodsonlyfocusonstatefeaturesandnegle