基于视觉语言基础模型的行人意图预测-计算机科学-机器学习-视觉语言基础模型-意图预测.pdfVIP

基于视觉语言基础模型的行人意图预测

MohsenAzarmi,MahdiRezaei,andHeWang

Abstract—行人过马路意图的预测是自动驾驶车辆的一

项关键功能。传统的基于视觉的方法在交叉口意图预测方面

通常难以实现泛化、情境理解和因果推理。本研究探讨了通

过分层提示模板整合多模态数据来利用视觉-语言基础模型

（VLFMs）进行行人过马路意图预测的可能性。该方法将包

括视觉帧、物理线索观察和自我车辆动态在内的上下文信息系

统地整合到优化的提示中，以有效引导VLFMs进行意图预

测。实验在三个常见数据集—JAAD、PIE和FU-PIP上进

行。结果表明，纳入车辆速度及其随时间的变化以及具有时间

本意识的提示显著提高了预测准确性，提升了19.8%。此外，通过

自动提示工程框架生成的优化提示进一步带来了12.5%的准确

译率提升。这些发现突显了VLFMs相较于传统基于视觉模型的

中优越性能，为自动驾驶应用提供了增强的泛化能力和情境理解。

1

vI.介绍

1Fig.1.视觉语言交叉意图预测模型概述。自动提示工程师（APE）根据

4自动驾驶车辆（AVs）的安全和高效运行依赖于理任务角色、行人行为和动态运动线索（例如，车辆速度）生成分层提示。

1

4解行人过马路的意图。准确预测行人的意图可以提高高了跨模态理解任务[19]的表现。尽管一些近期研究

0.安全性，使AVs能够预判行动并相应调整速度和轨迹。探讨了将VLFMs用于行人意图预测任务[20]–[22]，

7然而，由于行人行为的复杂性，受个体特征、社会互

0它们仍然存在关键性的限制。首先，这些方法往往未

5动和环境因素的影响，这一任务仍然具有挑战性[1]。

2能有效捕捉动态行人行为中至关重要的时间依赖性，

:传统的基于计算机视觉的过马路意图预测模型通

v而是依赖于静态或有限的上下文线索。其次，它们的

i常使用深度学习技术，如CNNs[2]–[4]、RNNs[5]–[7]、

x表现对提示变化非常敏感，因为提示通常是以任意或

rGCNs[8],[9]和Transformers[10]–[12]，专注于身体

a临时的方式设计的，缺乏系统化的结构。最后，这些研

姿态[13],[14]、时空关系[15],[16]和行人车辆动态

究常常忽略了车辆动力学因素（如速度和加速度）在

[17]等视觉特征。虽然有效，这些模型在动态交通环

理解行人意图方面的重要作用，而这对于理解交通场

境[18]中面临泛化能力、情境理解和因果推理方面的

景[10],[23],[24]是至关重要的。

困难。

本研究探讨了四种最先进的VLFMs在行人过街

视觉语言基础模型（VLFMs）是大规模预训练

意图预测中的应用，特别关注提示工程以及将车辆速

的机器学习模型，它们整合了视觉和文本模态以实

度变化和时间意识提示整合到意图预测