智能机器人与具身智能 课件 第8--15章 具身多模态大模型 ---具身特种机器人.pptx

第8章具身多模态大模型;8.1机器人语言指令与动作决策对齐;8.1.1大语言模型在具身环境的应用困境;8.1.2.1SayCan的技能训练方法;8.1.3语言指令-动作决策模型对齐实验;??思考：为什么可解释性对机器人控制系统很重要？;8.1.3.1SayCan的局限性与未来方向;8.2机器人动作控制多模态模型;8.2.1RT-1与多模态动作控制;8.2.2动作控制多模态模型设计方法（第一部分）;RT-1采用短序列图像和自然语言指令作为输入，在每个时间步为机器人输出一个动作。主要包含以下模块：;8.2.2.1RT-1的令牌化处理;8.2.2.2RT-1的Transfor