面向L4级自动驾驶的端到端多模态感知与大模型决策规划联合架构设计.docxVIP

PAGE2

面向L4级自动驾驶的端到端多模态感知与大模型决策规划联合架构设计

摘要

随着自动驾驶技术向L4级演进，传统模块化架构在复杂场景下暴露出感知信息损耗、决策规划耦合松散等问题，难以满足高安全性与实时性要求。本文提出一种端到端多模态感知与大模型决策规划联合架构，通过构建感知与规划一体化网络，将多模态融合、场景理解、行为决策与轨迹规划统一为可微分学习框架，减少手工规则依赖。

首先，分析L4级自动驾驶的实际痛点，明确系统设计目标与功能边界。其次，梳理多模态传感器融合、大语言模型及端到端自动驾驶等关键技术，通过方案对比确定以Transformer为基础骨架、视觉语言模型为决策核心的技术路线。接着，对系统进行需求分析，定义功能、性能及安全指标，并建立用例模型。在总体设计层面，给出分层架构与模块划分，设计数据流与存储方案。详细设计聚焦于多模态感知融合模块与大模型决策规划模块，给出算法流程与接口定义。最后，通过原型实现与测试验证架构的可行性，并对不足提出改进方向。本设计打通了从原始传感器输入到车辆控制指令的输出通道，显著提升系统在复杂城市道路下的泛化能力和决策可解释性。

关键词：L4级自动驾驶；端到端；多模态感知；大模型；决策规划；联合架构

第一章绪论

1.1研究背景

自动驾驶技术正从测试示范迈向规模化运营，L4级系统要求在限定场景内完全替代人类驾驶员，完成全部动态驾驶任务。