巴洛行走：适用于腿部机器人地形自适应运动的自我监督表示 学习.pdfVIP

巴洛行走：适用于腿部机器人地形自适应运动的自我监督表示

学习

HaodongHuang,ShilongSun,YuanpengWang,ChiyaoLi,HailinHuang,WenfuXu

Abstract—强化学习（RL），由数据驱动方法推动，已成

为解决机器人腿部运动控制问题的有效方案。然而，双足机器

人地形穿越的主流RL方法，如师生策略知识蒸馏，受到长时

间训练的影响，限制了开发效率。为了解决这一问题，本文提

出了BarlowWalk，一种结合自监督表示学习改进的近端策略

优化（PPO）方法。该方法采用BarlowTwins算法构建解耦

潜空间，将历史观察序列映射到低维表示并实现自我监督。同

本时，演员仅需本体感觉信息即可在连续时间步骤中实现自监督

译学习，显著降低了对外部地形感知的依赖性。仿真实验表明，这

种方法在复杂地形场景下具有明显优势。为了增强评估的可信

中度，本研究通过比较测试将BarlowWalk与先进算法进行对

1比，实验证明了所提出方法的有效性。

vFig.1.实验中使用的机器人是来自LimxDynamics的TRON1。

9

3I.介绍

9

0人类通过双足结构展现了对复杂地形的惊人适应[14]，为实时、自适应的运动控制提供了新的途径。

0.能力，但在多足机器人中实现类似的步态控制仍然是当前主流的双足机器人强化学习方法大多依赖于

8

0一个重大挑战。基于传统模型的方法通过利用运动学特权学习方法[15]。然而，在现实世界场景中，机器人

5和动力学原理[1],[2],[3],[4],[5],[6],[7],[8]取得了有希望通常无法获取显式的地形信息，必须仅根据本体感觉

2

:的结果。然而，这些方法在平衡模型准确性与计算效输入来做出决策。因此，这种交互通常被建模为部分

v

i率方面常常遇到困难，特别是在实时控制场景中。此可观测马尔可夫决策过程（POMDP）。为了应对部分

x

r外，它们需要深入了解机器人的动力学特性，这不仅提可观测性问题，现有研究通常采用以下方法之一：(1)

a

高了技术门槛，也限制了领域专业知识较少的研究人将地形信息输入到强化学习的评判网络中，使其能够

员的广泛参与。近年来，基于强化学习（RL）的方法已通过学习地形感知的价值估计来隐式引导策略；或者

成为一个重要的研究方向。通过利用仿真环境和特定(2)采用师生框架，在该框架中具有访问地形权限的教

任务的奖励函数，RL使机器人能够自主获得复杂的运师策略将知识传递给仅依赖本体感觉的学生策略[16]。

动技能，而无需进行显式建模[9],[10],[11],[12],[13],许多研究利用仿真中的完全可观测性来促进这些范式

的训练。

HaodongHuang,ShilongSun,YuanpengWang,Chiyao在四足机器人研究中，由四条腿结构提供的内在

Li,HailinHuangandWenfuXuarewithSchoolofRobotics稳定性使得某些研究能够仅使用当前和最近的本体感

andAdvancedManufacture,HarbinInstituteofTechnology,

Shenzhen,518052,China(Correspondingauthor:ShilongSun)觉信息作为输入[17]实现复杂地形上的运动。相比之

hhd1340201839@163.com,sunshilong@,下，由于结构上支撑的限制，双足机器人在保持平衡

qq1226171844@126.com,lcy_51k@163.com,huanghailin@