2025大模型时代的新能源汽车自动驾驶发展趋势.pptxVIP

启航225

提纲 OUTLINES一、范式变革：基于多模态大模型的自动驾驶技术二、世界模型驱动的一段式端到端解决方案可望获得突破三、发展趋势：从感知智能到认知智能清华大学人工智能研究院视觉智能研究中心VisualIntelligenceResearchCenter(VIRC),InstituteforArtificialIntelligence,TsinghuaUniversity

提纲 OUTLINES一、范式变革：基于多模态大模型的自动驾驶技术二、世界模型驱动的一段式端到端解决方案可望获得突破三、发展趋势：从感知智能到认知智能清华大学人工智能研究院视觉智能研究中心VisualIntelligenceResearchCenter(VIRC),InstituteforArtificialIntelligence,TsinghuaUniversity

VLA融合了感知空间与动作空间，给出了两个空间与三大任务：两大空间：从感知或观察空间到动作空间，还是从动作空间到感知空间？两个空间之间的单段式或单模型一体化相互作用；三个下游微调模型，即三大任务：具身理解、具身推理与具身动作生成大模型；基于上述三大微调模型，可优化训练更多的下游微调模型本质上将VLM面向数字空间的理解与生成推向了面向物理世界的理解与生成！感知空间动作空间决策推理或策略1、多模态大模型推动具身智能体发展2025中国汽车流通行业新春启航大会暨促消费大会VLM：视觉-语言（文本）模型VLA：视觉-语言-动作模型一、范式变革：基于多模态大模型的自动驾驶技术

-性能增强的VLA：可望提升图像、视频、3D点云与语义地图等多模态数据的语义对齐水平，从而获得更好的交叉理解；1、多模态大模型推动具身智能体发展一、范式变革：基于多模态大模型的自动驾驶技术VLM：视觉-语言（文本）模型VLA：视觉-语言-动作模型2025中国汽车流通行业新春启航大会暨促消费大会

-性能增强的VLA：也可望改善开放场景下的实例分割与目标检测准确率，实现更好的视觉“分词”；1、多模态大模型推动具身智能体发展一、范式变革：基于多模态大模型的自动驾驶技术如谷歌Waymo达到99.3%VLM：视觉-语言（文本）模型VLA：视觉-语言-动作模型2025中国汽车流通行业新春启航大会暨促消费大会

-性能增强的VLA：对时空动态场景的预测，或将有效嵌入真实世界的物理学规律，从而获得更好的避碰能力；1、多模态大模型推动具身智能体发展一、范式变革：基于多模态大模型的自动驾驶技术VLM：视觉-语言（文本）模型VLA：视觉-语言-动作模型

-性能增强的VLA：通过进一步引入小脑模型，可望获得更加精准、鲁棒与细滑的行为与动作生成。一、范式变革：基于多模态大模型的自动驾驶技术1、多模态大模型推动具身智能体发展VLM：视觉-语言（文本）模型VLA：视觉-语言-动作模型2025中国汽车流通行业新春启航大会暨促消费大会

VLA的决策推理势必面临更大的挑战，但却更有研发意义与落地应用价值，包括：安全、效率、舒适度与低碳等多指标评估体系及其动态优化算法；利用推理大模型DeepSeek等的应用潜力，如完成百万量级合成场景训练下的决 策鲁棒性验证实验（将接管率推进到每10万公里1-3次），将轨迹规划的实时响 应时间从传统的150ms缩短至50ms左右。推理型大模型DeepSeek-R1及其蒸馏版系列感知空间动作空间决策推理或策略2、决策与规划：推动构建世界模型驱动的一段式端到端智能体2025中国汽车流通行业新春启航大会暨促消费大会一、范式变革：基于多模态大模型的自动驾驶技术

提纲 OUTLINES一、范式变革：基于多模态大模型的自动驾驶技术二、世界模型驱动的一段式端到端解决方案可望获得突破三、发展趋势：从感知智能到认知智能清华大学人工智能研究院视觉智能研究中心VisualIntelligenceResearchCenter(VIRC),InstituteforArtificialIntelligence,TsinghuaUniversity

二、世界模型驱动的一段式端到端解决方案可望获得突破2025中国汽车流通行业新春启航大会暨促消费大会-实现工业化合成数据，包括利用世界模型与世界模拟器生成百万量级的边缘事件时空场景，实现世界模型引擎与真实路测数据的闭环验证，不仅获得更加逼真的场景模拟，而且可大幅降低时空场景数据合成的生产成本。1、世界模拟器引擎：时空场景合成数据的巨量生成

二、世界模型驱动的一段式端到端解决方案可望获得突破-4D时空世界模拟：3维空间+1维时间，智能体在4D世界中与环境、其他智能体及人类进行交互式学习，以端到端数据驱动方式实现物理规律模拟，从而获得空间智能。1