运动引导序列融合：高效点云序列目标检测方法研究.pdfVIP

MSF：序列融合，用于从点云序列进行高效

3D对象检测

*∗†

理工大学

{csche、csrhli、csybzhang、cssli、cslzhang}@comp.polyu.edu.hk

3

2

0抽象的检测和熔断医生（我们的）

2

（当前的）（当前的）（当前的）

r点云序列通常用于在自动驾驶等应用中准确检测

a

M3D对象。当前性能多帧检测器大多遵循检测和

融合框架，该框架从序列的每一帧中提取特征并将它们

5

1融合以检测当前帧中的对象。然而，由于相邻帧高度相

关，这不可避免地导致冗余计算。在本文中，我们提出

]

积分积分积分

VPoolPoolPool

变压器积分积分积分

C了一种高效的顺序融合（MSF）方法，该方法PoolPoolPool

.

s利用对象的连续性来挖掘有用的顺序上下文，以用

c于当前帧中的对象检测。我们首先在当前帧上生成3D(a)R网

[

1提议，并根据估计的速度将它们到前面的帧。(b)

v然后从序列中汇集点并编码为提议特征。进一步提†对应作者。

6

1出了一种新颖的双向特征聚合（BiFA）模块，以促进跨

3

8框架的提议特征的交互。此外，我们通过基于体素的采

0样技术优化点云池，以便可以在几毫秒内处理数百万个

.

3点。所MSF方法不仅比其他多帧检测器实现了更

0

3高的效率，而且具有领先的精度，在Waymo开放数据

2集的LEVEL1和LEVEL2测试集上分别具有83.12％和

:

v78.30％的mAP。代码可以在

i

X找到。

r

a

1。简介

3D物体检测[1,2,6,7,9,14,21,27‑29,36]是自动驾

驶的关键技术之一，它有助于车辆更好地了解周围环

境并在下游任务中做出关键决策。作为自动驾驶系统

中不可或缺的传感设备，LiDAR收集场景的3D测量

数据

*同等贡献。

图1。（a）“检测和融合”框架从序列的每个帧中提取特

征，

然后融合它们，而（b）我们“序列融合”

（MSF）方法在当前帧上生成建议并将其到前面的

帧以探索序列中的有用上下文。

点云的形式。然而，LiDAR一次只能产生场景的部

分视图，点云的稀疏和的表示给3D物体检测

任务带来了相当大的。在实践中，