纯视觉至上!BEVFormerv2解读来了(清华商汤) .pdfVIP

纯视觉至上!BEVFormerv2解读来了(清华商汤)--第1页

纯视觉至上！BEVFormerv2解读来了（清华商汤）

2022年11月BEVFormerv2来了，带着nuScenesCamera-

onlyDetectionTaskSOTA来和大家见面了！

表1.截止到2022年12月17号，BEVFormerv2及其Opt版

本，在nuScenesCamera-onlyDetectionTask位列前二，NDS指

标大幅领先第三。

传送门0:BEVFormerv2原论文《BEVFormerv2:Adapting

ModernImageBackbonestoBirds-Eye-ViewRecognitionvia

PerspectiveSupervision》

传送门1：对BEVFormer第一版感兴趣的小伙伴，想要快速了解，

可以翻阅本篇解读作者的另外一篇BEVFormer笔记：《一文读懂

BEVFormer论文》

传送门2：另外，由于BEV方法的核心框架原理或要解决的核心

问题大都来自自底向上类的BEV方法，如果想要系统性了解BEV方法，

强烈推荐先从自底向上方法了解，可参考本篇解读作者的另外一篇笔

记：《一文读懂BEV自底向上方法：LSS和BEVDepth》

本文先把BEVFormer最核心的一部分翻译或讲解出来，后续待

BEVFormer代码工程发布后，再结合具体实现，在实施层面做更深入

解读。

如有问题，欢迎大家评论留言。

1.Introduction

典型BEV模型的框架结构是：先构建一个imagebackbone生成

透视特征图，后面连接一个把透视特征图lift成BEVfeatures的视角

转换模块，最后用BEVfeatureencoder和一些具体任务的head处

理BEVfeatures。已经有很多工作关注如何设计视角转换模块，以及

结合仍在持续增长的更多下游任务应用此框架，但是关于BEV模型中

imagebackbone的研究并不多。先进的imagebackbone作为一个

最前沿且具有强需求的研究领域，把它们引入自动驾驶领是情理之中

的事情。令人惊讶的是，目前BEV模型研究社区一直在使用VoVNet，

纯视觉至上!BEVFormerv2解读来了(清华商汤)--第1页

纯视觉至上!BEVFormerv2解读来了(清华商汤)--第2页

并且沉浸在它的大规模深度预训练中无法自拔。本文作者关注解除在

BEV识别中应用先进imagebackbone的束缚，为未来探索把更好的

backbone应用于BEV识别打开大门。

如果不进行合适的预训练，而直接使用先进的imagebackbone，

往往会让期望生成满意的结果面临失败。

例如，ImageNet预训练的ConvNext-XL主干性能，与DDAD-

15M预训练的用于3D目标检测的Vovnet-99不相上下，尽管后者的

参数量是前者的3.5倍。

目前，在BEV识别中使用先进imgebackbone时，往往是苦苦

挣扎却不得解