基于4D毫米波雷达与鱼眼相机跨模态融合的自适应BEV语义占用网络设计.docxVIP

PAGE2

基于4D毫米波雷达与鱼眼相机跨模态融合的自适应BEV语义占用网络设计

摘要

自动驾驶环境感知在复杂天气与遮挡场景下面临严峻挑战，单一传感器难以兼顾鲁棒性与语义丰富度。本课题设计一种基于4D毫米波雷达与鱼眼相机跨模态融合的自适应鸟瞰图（BEV）语义占用网络。核心方案是将4D点云与鱼眼深度估计进行空间变换对齐，在BEV空间构建自适应融合占用栅格。

论文遵循工程递进思路展开。首先，分析感知痛点明确需求；其次，规划总体架构与模块划分；接着，详细设计空间对齐与自适应融合算法；最终，基于PyTorch实现系统并在nuScenes数据集完成测试验证。核心创新在于提出基于置信度的跨模态自适应权重分配机制，有效弥补雷达稀疏性与视觉深度不确定性，提升语义占用预测精度与系统鲁棒性。

第一章绪论

1.1研究背景

自动驾驶技术的落地对环境感知系统的可靠性提出了极高要求。感知系统需在全天候、全场景下精准理解周围环境，为下游规划控制提供决策依据。然而，现实交通环境充满挑战，光照突变、雨雪雾天气以及复杂遮挡频发，单一传感器极易失效。

纯视觉方案依赖鱼眼或环视相机，虽能提供丰富语义与稠密纹理，但缺乏直接物理深度测量。在逆光或暗光下，单目深度估计极易产生尺度漂移，导致远距离障碍物位置失真。激光雷达虽测距精准，但成本高昂且在雨雪中易产生噪点，难以大规模普及。

4D毫米波雷达作为新兴传感器，增加了高