智能机器人与具身智能 课件 第8章具身多模态大模型.pptx

第8章具身多模态大模型本章概述具身多模态大模型是借助涵盖多个模态的基础大模型能力构建的适应于具身场景的模型。通过引入视觉、语言、动作等多模态信息，使机器人具备场景指令理解、行为动作决策、智能控制等能力。学习目标理解机器人与大模型结合的四个主要方向；掌握语言-动作对齐、多模态动作控制、端到端控制和细粒度控制的关键方法。核心概念预览LLM在具身环境中的挑战与解决方案；可操作函数的作用；Transformer在机器人控制中的应用；VLM到VLA的扩展；语言动作中间层的设计。

8.1机器人语言指令与动作决策对齐本节介绍如何利用大语言模型（LLM）将人类自然语言指令与机器人具体行为动作决策相匹配。虽