人工智能通识 课件 第七章 智能之躯——具身智能.pptxVIP

第七章智能之躯——具身智能

本章目录

7.1具身智能概述

7.2具身智能的核心技术

7.3具身智能的典型案例

7.4具身智能的前沿与展望

1

7.2具身智能的核心技术

7.3具身智能的典型案例

7.4具身智能的前沿与展望

7.1具身智能概述

本章目录

1

■具身智能的基本概念

具身智能定义：以智能体作为本体支撑，不再局限于被动响应，而是能够像生物体一样，主动适应环境变化，应对噪声干扰，并适时调整自身行为。

7.1具身智能概述

智能是具身化和情景化的，具身智能可通过与真实世界的交互完成任务

具身智能

单一的符号智能往往与真实世界相脱节，认知与身体解耦

交互

理解

听说看

■具身智能的基本概念

●具身(Embodiment):智能系统所依附的、能够支持丰富感官体验与灵活运动能力的物理实体，是智能体与环境互动的基础。

●具身的(Embodied):具有身体的，可参与交互、感知的。

●具身智能(EmbodiedAI):特指那些拥有物理形态，并能直接参与物理世界交互的智能系统，如服务型机器人、智能无人驾驶车辆等。它们通过“身体力行”的方式，展现出高度的环境适应性与任务执行能力。

●具身任务：像人类一样通过观察、移动、对话以及与世界互动从而完成的一系列任务。

●多模态：一个模型或系统能够处理多种不同类型的输入数据并融合它们生成输出，这些类型包括文本、图像、音频和视频等。这种能力对于提升智能系统的环境感知与决策能力至关重要。

●主动交互：机器人或智能体与环境的实时交互过程，从而提高智能体的学习、交流与处理问题的能力，是具身智能实现高效任务执行的关键。

7.1具身智能概述

■具身智能的核心要素

智能体作为本体的智能核心，具

备敏锐的感知能力和动态决策机

制，能够解析复杂环境并高效执

行任务；借助深度学习和多模态

模型的发展，智能体实现了从单

一任务向多功能通用应用的跃升，

具备自我进化和持续优化的能力。智能体

数据在机器学习与具身智能系统中至

关重要，通过整合大量多样的具身数据，提升了智能体的任务执行成功率，但仍面临数据采集与结构复杂的挑战。

7.1具身智能概述

具身学习通过智能体与环境及人

类的互动，构建“感知-决策-行动”闭环，利用人类-智能体交互数据强化多模态系统，推动智能体进化与性能提升。在交互过程中，系统提供多样化输出选项供用户反馈，以此优化未来性能，并通过人机协作纠正错误，增强系统的安全性和可靠性。

本体在物理与虚拟空间中承担环境感知和任务执行，通过多种形式的机器人展现其关键作用，设计广泛适应性的本体是实现数字与物理世界融合的基础。其感知能力、运动灵活性及操作精度共同决定了本体的多维性能。

本体

具身

智能

数据

学习

7.1具身智能概述

RT-X项目构建通用具身数据集，涵盖多种机器人类型、任务和场景，整合了来自34家研究实验室的

60个数据集，数据集总量惊人地达到1,402,930条记录。

具身智能的核心要素

●具身数据的获取方案：RT-X项目

基于OpenX-Embodiment数据集训练，RT-2-X模型在众多具身任务上平均成功率提升近50%。

·互联网数据预训练，学习通用知识

·具身数据微调，学习动作控制

“将苹果移动至在罐子和橘子之间”

Discrete

Action

RT-2-X

ViTLLMDe-Tokenizer

■RT-2-RT-2-X

Instruction

■■■

Image

7.1具身智能概述

■具身智能的核心要素

●具身智能领域四种数据积累方法

完成互联网数据的预训练，学习通用知识，并实现具身数据微调和动作控制。

Humancolectssmalnumberof

teleoperateddemonstrations

根据人类演示数据，生成更多训练数据。

建立虚拟仿真环境，模拟现实环境在虚拟环境中训练智能体。

机器人从收集的数据中学习。

训练生成模型，生成具身数据。

虚拟环境中收集人类演示数据。

机械臂抓取等实际场景。

少量的人类演示。

MimicGengenerateslargedatasetsfromfewhumandemos

2C

1.多任务/多场景/多技能决策2.仿真训练

3.大模型技术4.真实训练

7.1具身智能概述

■具身智能的核心要素

●具身智能系统中四种常见的策略泛化方