多模态视觉变换器在视觉强化学习中的模拟到现实迁移问题研究.pdfVIP

多模态视觉变换器在视觉强化学习中的模拟到现实迁移问题研究

ZichunXu,YuntaoLi,ZhaominWang,LeiZhuang,GuocaiYang,andJingdongZhao

Abstract—深度信息对场景外观变化具有鲁棒性，并且固

有地携带3D空间细节。本文提出了一种基于视觉变压器的视

觉骨干网络，用于融合RGB和深度模态以增强泛化能力。不

同的模态首先由独立的CNN主干处理，然后将组合后的卷积

特征传递给可扩展的视觉变压器以获取视觉表示。此外，设计

了一种对比无监督学习方案，使用遮罩和未遮罩的令牌来加速

强化学习过程中的样本效率。仿真结果表明，我们的视觉骨干

网络可以更专注于与任务相关的区域，并在未知场景中表现出

更好的泛化能力。对于模拟到现实的迁移，开发了一种灵活的

本课程学习计划，在训练过程中部署领域随机化。最后，验证了

我们的模型通过零样本迁移执行实际操作任务的可行性。

译IndexTerms—视觉强化学习，表示学习，仿真到现实Fig.1.零样本迁移以完成操控任务。

中

I.介绍

3