视觉语言融合在实时自动驾驶中的应用：以目标为中心的摄像头、高精地图与路点之间的交叉注意力机制.pdfVIP

视觉语言融合在实时自动驾驶中的应用：以目标为中心的摄像头、高精地图与路点之间的交叉注

意力机制

SantoshPatapati,TrisanthSrinivasan,MurariAmbati

CyrionLabs

ABSTRACT[1]。经典的模块化堆栈结合了相机、激光雷达和雷达

自动驾驶汽车需要几何精度和语义理解来导航复杂以及卡尔曼滤波器家族等过滤器[2]。这提供了精确的

环境，但大多数系统分别处理这两方面。我们介绍了定位但缺乏语义洞察力。这样的堆栈无法识别细微的

本XYZ-Drive，这是一个单一的视觉语言模型，它读取前情境，例如临时车道封闭，也无法向人类乘客解释它

译视摄像头帧、一个25m×25m的俯视图地图以及下一们的决策[3]。

中个路点，然后输出转向和速度指令。一个轻量级的目最近的研究开始显示出这种缺失的语义能力。视

1标中心交叉注意力层让路点标记突出相关图像和地图觉语言模型（VLMs）