大模型时代的新能源汽车自动驾驶发展趋势.pdf

大模型时代的新能源汽车自动

驾驶发展趋势

提纲OUTLINES

一、范式变革：基于多模态大模型的自动驾驶技术

二、世界模型驱动的一段式端到端解决方案可望获得突破

三、发展趋势：从感知智能到认知智能

清华大学人工智能研究院视觉智能研究中心

VisualIntelligenceResearchCenter(VIRC),InstituteforArtificialIntelligence,TsinghuaUniversity

提纲OUTLINES

一、范式变革：基于多模态大模型的自动驾驶技术

二、世界模型驱动的一段式端到端解决方案可望获得突破

三、发展趋势：从感知智能到认知智能

清华大学人工智能研究院视觉智能研究中心

VisualIntelligenceResearchCenter(VIRC),InstituteforArtificialIntelligence,TsinghuaUniversity

一、范式变革：基于多模态大模型的自动驾驶技术

•VLM：视觉-语言（文本）模型

1、多模态大模型推动具身智能体发展

•VLA：视觉-语言-动作模型

VLA融合了感知空间与动作空间，给出了两个空间与三大任务：

•两大空间：从感知或观察空间到动作空间，还是从动作空间到感知空间？

•两个空间之间的单段式或单模型一体化相互作用；

•三个下游微调模型，即三大任务：具身理解、具身推理与具身动作生成大模型；

•基于上述三大微调模型，可优化训练更多的下游微调模型

感知空间决策推理或策略动作空间

本质上将VLM面向数字空间的理解与生

成推向了面向物理世界的理解与生成！

2025中国汽车流通行业

新春启航大会暨促消费大会

一、范式变革：基于多模态大模型的自动驾驶技术

•VLM：视觉-语言（文本）模型

1、多模态大模型推动具身智能体发展

•VLA：视觉-语言-动作模型

-性能增强的VLA：可望提升图像、视频、3D点云与语义地图等多模态数据的

语义对齐水平，从而获得更好的交叉理解；

2025中国汽车流通行业

新春启航大会暨促消费大会

一、范式变革：基于多模态大模型的自动驾驶技术

•VLM：视觉-语言（文本）模型

1、多模态大模型推动具身智能体发展

•VLA：视觉-语言-动作模型

-性能增强的VLA：也可望改善开放场景下的实例分割与目标检测准确率，实现

更好的视觉“分词”；

如谷歌Waymo达到99.3%

2025中国汽车流通行业