GraphCoT-VLA：一种用于处理模糊指令的机器人操作的三维空间感知推理视觉语言动作模型.pdfVIP

GraphCoT-VLA：一种用于处理模糊指令的机器人操作的三维空间感知推理视觉

语言动作模型

1∗2∗†1113

HelongHuang,MinCen,KaiTan,XingyueQuan,GuoweiHuang,HongZhang

1Noah’sArkLab,Huawei

2SchoolofArtificialIntelligenceandDataScience,UniversityofScienceandTechnologyofChina

3SchoolofManagement,UniversityofScienceandTechnologyofChina

AbstractAmbiguousInstruction

Iwanttoeatspicyriverfood,pleasehelpmeselecttheingredients.

视觉-语言-动作模型已成为机器人操作中的一个重要范

式。然而，现有的VLA模型在处理模糊的指令和未知Baseline

actions

本环境状态方面存在明显的局限性。此外，它们的感知

能力主要局限于静态二维观察，缺乏建模机器人与环境

译之间三维交互的能力。为了解决这些挑战，本文提出了Initially,Thereisanegg,aredchili…

Subtask:1.Pick…lefthand.2.Pickupthe…

GraphCoT-VLA，一个高效的端到端模型。为了增强模Objectposition:[{“bbox2d”:[194,…,346],…

中thinkingState:tensor([1.5847e-05,-1.9809e-05,-9…

型解释模糊指令和改进任务规划的能力，我们设计了一Ours

1个结构化的链式思考推理模块，该模块集成了高层次的

v

0任务理解和规划、失败任务的反馈以及对未来物体位置

5和机器人动作的低层次想象推理。此外，我们构建了实actions

6时可更新的3D姿态-对象图，它捕捉了机器人关节的空Pose-ObjectGraph

7

0间配置及三维空间中物体之间的拓扑关系，使模型能够

.更好地理解和操纵它们的交互。我们进一步整合了一种

8图1:我们的方法与基线的比较。

0dropout混合推理策略以实现高效的控制输出。跨多个

5真实世界机器人的实验结果表明，GraphCoT-VLA在任

2