汽车-AI系列深度09期：从LLM到VLM再到VLA意味着什么？.pptxVIP

nLLM、VLM、VLA可理解为同一技术脉络上逐层扩展模态和输出能力的三类大模型。LLM以文本为输入输出，主要解决语言理解、生成和推理；VLM在语言底座上加入视觉理解，使图像和文字在同一语义空间交互；VLA进一步把动作作为输出模态，使模型能够驱动机器人或车辆在物理世界中行动。三者存在继承关系，但不能简单归结为同一种next-token机制。

n从概念脉络看，LLM由Transformer、GPT等奠定，核心是以海量文本和自监督训练形成语言基础模型；VLM由CLIP、Flamingo等推动，通过图文对齐、视觉编码器和模态投影，把视觉信息接入语言模型；VLA由GoogleDeepMind在RT-2中明确命名，核心是把视觉、语言与动作统一到策略模型中。

n从数据和表征看，三者难度逐级抬升。LLM训练依赖文本语料，VLM增加图文对和视觉编码，VLA则需要机器人示教、遥操作轨迹、动作反馈和真实环境数据。动作不是普通输入模态，而是会改变物理世界的控制输出；因此，VLA既可把动作离散化为token自回归生成，也可用扩散策略或流匹配生成连续动作轨迹。

n从应用边界看，LLM主要处理知识、代码、对话和软件任务；VLM把能力扩展到图像理解、图文问答、视觉检索和多模态交互；VLA则进入机器人、自动驾驶和具身执行，需要处理实时性、