Figure×OpenAI：端到端的大语言-视觉模型让“机器”变“人”.pdfVIP

行业专题

1Figure和OpenAI合作后，产品迭代迅速

Figure最新视频表明大模型介入人形机器人后，所带来的极快升级。近日人形机器人

公司Figure公布其与OpenAI合作13天后的机器人最新视频，视频中OpenAI将其ChatGPT

强大的语音交互和理解反馈能力移植到Figure01上，Figure01能够1)理解区分面前的场景

对象；2)动作上区分苹果和一堆纸团；3)理解自身行为的目的；4)判断下一步的响应动作；

5)评价自身行为；6)手指灵活度足够且动作较快。

大模型介入有望帮助人形机器人打开C端市场。通过OpenAI大模型的训练后，Figure

01机器人能够从语义层面理解世界，做到理解和回应用户的需求和指令，并展现出了较强

的自主能力。我们认为，相对出色的运动或执行能力和特定场景下的模型训练，能够使得人

形机器人在工业某个单一场景内实现量产应用，而大模型所赋予的较为广泛和强大的交互能

力，有望帮助人形机器人打开C端应用市场。

图1：Figure01机器人正在分拣纸团

资料来源：Figure，浙商证券研究所

端到端的大语言-视觉模型是本次升级的核心，从语言输入开始，模型接管了一切处理，

直接输出语言和行为结果，而不是中间输出一些结果，再加载其他程序处理这些结果。其中

Open的大模型提供负责提供视觉推理和语言理解，而Figure的神经网络提供快速、低水平、

灵巧的机器人动作，机器人所有行为均源自于学习过的。

Figure01的语言交互流程：研究人员将机器人摄像头中的图像输入、机载麦克风捕获的

语音中的文本转录到由OpenAI训练的，可以理解图像和文本的多模态模型(VLM)中，由该

模型处理对话的整个历史记录，得出语言响应，然后通过文本到语音的方式将其回复给人类。

Figure01的动作处理流程：大模型能力可以使机器人拥有短期记忆，以便联系和理解前

后的行为关系。动作拆解包括首先，互联网预训练模型对图像和文本进行常识推理，以得出

高级计划；其次，大模型以200hz的频率生成的24-DOF动作(手腕姿势和手指关节角度)，

充当高速设定点，供更高速率的全身控制器跟踪，以确保安全和稳定。

4/11请务必阅读正文之后的免责条款部分

行业专题

图2：OpenAI大模型对于神经网络决策和身体控制的加持

资料来源：Figure，FounderPark，浙商证券研究所

在性能升级方面，2023年10月Figure01可以实现“动态双足行走”；2024年1月7日

Figure01可以自主操作咖啡机，完成打开机盖、放入咖啡包、按下开始按钮等动作，无需任

何远程遥控；2024年2月27日Figure01可以实现自主完成搬起并转移物体动作；2024