LeVR：一种用于灵巧操作模仿学习的模块化 VR 遥操作框架.pdfVIP

LeVR：一种用于灵巧操作模仿学习的模块化VR遥操作框架

ZhengyangKrisWeng,MatthewElwin,HanLiu

Abstract—我们介绍了LeVR，这是一个模块化的软件

框架，旨在弥合机器人模仿学习中的两个关键差距。首先，它

提供了强大的直观虚拟现实（VR）遥操作数据收集功能，使用

与灵巧的手配合的机械臂，解决了现有系统中常见的限制。其

次，它原生集成了强大的LeRobot模仿学习（IL）框架，使基

于VR的遥操作数据得以利用，并简化了演示数据采集过程。

为了展示LeVR，我们发布了LeFranX，这是一个针对广泛

使用的研究平台FrankaFER机械臂和RobotEraXHand

的开源实现。LeFranX提供了一个无缝的数据收集到现实世

本界策略部署的一站式工作流程。通过收集100个专家演示的公

共数据集来验证我们的系统，并成功使用它对最先进的视觉运

12

译动策略进行了微调。我们提供了我们的开源框架、实现和数

中据集，以加速机器人领域的IL研究。

1I.介绍

v

9模仿学习（IL）在教授机器人灵巧操作方面显示

4

3出巨大的潜力，但其成功取决于能够访问大规模的专

4家数据[1]。虚拟现实（VR）远程操作作为一种强大

1

9.的工具用于收集此类数据，但其更广泛的应用受到两Fig.1.LeVR框架概述，该框架将VR灵巧遥操作、模仿学习策略微

0个关键挑战的限制。首先，大多数现有的VR系统仅调（）和机器人动作执行集成到一个基于LeRobot系统[2]的统一工作

5流中。

2对多指灵巧手提供有限的支持，这限制了可以展示技

:

v能的范围。其次，尽管像LeRobot[2]这样的强大IL

i

x框架提供了方便的训练管道，但它们不原生支持基于

r

aVR的演示数据，从而产生了一个难以直接利用远程署的完整工作流程。作为LeRobot的一个扩展，我们

操作进行策略学习的差距。弥合这个差距通常需要额的系统结合了低成本的VR界面与强大的重新定位算

外的集成代码和自定义界面，在实践中这可能会增加法[5],[6]，以实现直观控制。LeVR框架的概述如图1

开销并减缓采用速度。所示。通过提供一个原则性的架构和现成的实现，我

为了处理上述两个挑战，我们引入了LeVR，这是们的工作旨在降低研究人员探索、基准测试和分享机

一个模块化的软件框架，旨在解决这两个问题。LeVR器人学习工作流程的门槛。

为灵巧的手部提供了直观的VR控制，并自动化了IL

框架的数据管道。我们开发并发布了LeFranX，一个本工作的贡献包括：(i)一个模块化且可通用的

开源的适用于FrankaFER臂[3]和RobotEraXHandVR遥操作框架，旨在与机器人学习流水线集成。(ii)

[4]的LeVR实现，它提供了一个从数据收集到策略部一个开源实现LeFranX，在FrankaFER机器人和

RobotEraXHand上实现了该框架，包括重新定位和

CenterforRoboticsandBiosystems,NorthwesternUniversity,

Evanston,IL,USA.高频控制。(iii)一个公开的数据集，包含常见操作任

MAGICSLab,NorthwesternUniversity,Evanston,IL,USA.务的远程操作演示数据，格式化以供LeRobot使用。

Email:zkweng@

1代码仓库:/wengmister/LeFranX(