通过可微仿真基础系统识别实现精确可靠的运动.pdfVIP

通过可微仿真基础系统识别实现精确可靠的运动

1111

VyacheslavKovalev,EkaterinaChaikovskaia,EgorDavydenko,andRomanGorbachev

Abstract—准确的系统识别对于减少双足行走中的轨迹漂

移至关重要，特别是在强化学习和基于模型的控制中。在本文motor

command

中，我们提出了一种将系统识别集成到使用可微分模拟的强化

学习训练循环中的新颖控制框架。与依赖直接扭矩测量的传统

方法不同，我们的方法仅使用轨迹数据（位置、速度）和控制输Problem:Deviationin

入来估计系统参数。我们利用可微分仿真器MuJoCo-XLA优sim-realrobottrajectory

化系统参数，确保模拟机器人的行为与现实世界的运动紧密一

致。该框架支持大规模且灵活的参数优化。它涵盖了质量、惯motor

性等基本物理属性。此外，通过神经网络近似处理复杂的系统command

本非线性行为，包括高级摩擦模型。实验结果表明，我们的框架

显著提高了轨迹跟踪性能。与基准强化学习方法相比，旋转偏

Success:Minimizingsim-

译差减少了75%，并且在命令方向上的行进距离增加了46%。realtrajectorydeviation

中

motor

1command

v补充材料+our

6approach

9

6代码：https://wavegit.mipt.ru/Slavoch/mjx_sysid

4Fig.1.系统辨识步骤的结果：(上)使用默认参数的模拟机器人，随着时

0间逐渐倾倒。(中)真实机器人成功地以自然动作行走。(下)使用优化电机

.

8参数的模拟机器人，成功行走并紧密模仿真实机器人的动作。

0I.介绍

5

2A.我们的方法

:准确的仿真对于强化学习（RL）和基于优化的机

v在这项工作中，我们引入了一种新型的将新系统

i器人控制的成功至关重要[1]–[5]。这些控制策略的表

x

r现与仿真模型的真实度密切相关。实现这种真实性的识别步骤集成到强化学习训练循环中的控制框架（如

a