用于交通运输应用中的对象检测的双流注意力与多模态查询.pdfVIP

STUDENT,PROF,COLLABORATOR:BMVCAUTHORGUIDELINES1

用于交通运输应用中的对象检测的双流注意力

与多模态查询

NoreenAnwar11LITIV,PolytechniqueMontréal

noreen.anwar@polymtl.caMontréal,Canada

Guillaume-AlexandreBilodeau12DataScienceLaboratory,

gabilodeau@polymtl.caUniversitéduQuébec(TELUQ)

Montréal,Canada

WassimBouachir2

wassim.bouachir@teluq.ca

本

译

中

1

v摘要

8

6基于Transformer的目标检测器通常在处理遮挡、细粒度定位和由固定查询

8

4及密集注意力机制引起的计算低效方面遇到困难。我们提出了DAMM（Dual-

0streamAttentionwithMulti-Modalqueries，多模态查询的双流注意力），一种

.

8通过引入查询适应性和结构化交叉注意力来提高准确性和效率的新框架。DAMM

0利用了三种类型的查询：基于外观的来自视觉语言模型的查询、使用多边形嵌入

5

2的位置查询以及用于一般场景覆盖的随机学习查询。此外，一个双流交叉注意力

:模块分别优化语义和空间特征，在杂乱场景中提升了定位精度。我们在四个具有

v

i挑战性的基准测试上评估了DAMM，它在平均精度（AP）和召回率方面达到了

x

r最先进的性能，证明了多模态查询适应性和双流注意力的有效性。源代码位于：

a

GitHub。

1介绍

传统的交通应用对象检测方法主要集中在使用刚性边界框对预定义类别中

的物体进行分类和定位。虽然这些方法取得了显著的成功，但它们在面对由任

意物体、遮挡物和复杂空间结构所构成的真实世界场景时难以泛化。最近基于

变换器的检测器，如DETR及其变体，提高了检测精度，但仍受静态对象查询、

计算成本高昂的全局注意力机制以及有限的空间粒度限制。这些限制在动态环

境中尤为明显，在这种环境下，物体形状、遮挡和分布与训练期间所见有很大

©2025.Thecopyrightofthisdocumentresideswithitsauthors.

Itmaybedistributedunchangedfreelyinprintorelectronicforms.

2STUDENT,PROF,COLLABORATOR:BMVCAUTHORGUIDELINES

不同，例如在空中和城市场景中。UAVDT[3]和VisDrone[32]突出了在基于

无人机的图像中检测小且高度遮挡对象的挑战。现有方法如RT-DETR[28]和

UAV-DETR[28]试图优化变换器以适应基于无人机的检测，但仍受限于对预定

义对象分布的依赖。

近期视觉语言模型（VLMs）[4,12,15]在缩小视觉和文本表示差距方面取

得了突破，为开放世界识别开辟了新途径。然而，现有的检测框架由于以下三个

缺点未能充分利用这些进展：(1)依赖静态查询嵌入，缺乏适应不同物体外观和

上下文的能力；(2)解码器中密集的自注意力机制导致计算效率低下；(3)使用

刚性、轴对齐的边界框位置查询，对于不规则几何形状的物体提供次优的位置定

位。我们通过四项贡献解决了这些问题：

•多模态查询：我们引入了一个统一的查询集，该集合整合了基于视觉语言

嵌入的外观查询以捕捉语义信息、基于分割驱动多边形嵌入的位置查询以

捕捉空间信息以及随机学习的查询以确保对一般场景的强大覆盖。这种多

模态方法使模型能够动态适应多样化的物体外观和上下文，解决了第一个

缺点。

•自适应查询融合：我们设计了一个可学习的机制，用于动态地细化变压器