自动驾驶模态融合相机-激光雷达3D目标检测.pdfVIP

检测技术与数据处理

DOI:10.19557/j.cnki.1001-9944.2025.03.023

自动驾驶模态融合相机-激光雷达3D目标检测

李睿敏1,贾雄伟1,任小文1,潘福全²

（1.西安交通工程学院机械与电气工程学院，西安710300；2.青岛理工大学土木工程学院，青岛266520）

摘要：为了进一步解决3D目标图像与雷达信息异构特征难以匹配的问题,设计了一种面向

自动驾驶模态融合的相机-激光雷达3D目标(3DMMF)检测方法。将约束条件引入到多维

空间中，根据稀疏张量用于概率信息融合，利用最大池化方法与概率得分的预期目标对

应，获得最终融合效果。研究结果表明，与纯点云相比，所提方法在各项指标上实现了很大

程度的改进,MAP平均提高6.23%,在简化效果方面达到了最优状态。所提方法增强后的预

传输延迟降低95.35%，在两级融合网络中具备最优探测性能，不需要占用过长的前置和后

置时间。3DMMF可以有效提高三维目标控制性能，多层次融合方式有效解决视角错位和

特征失配等问题。该研究有助于提高汽车自动驾驶能力，具有很高的科技推动价值。

关键词：自动驾驶；多传感器融合；3D目标检测；点云编码；自注意力机制

中图分类号：TP274文献标识码：A文章编号：1001-9944(2025)03-0115-03

ModeFusionCameraforAutopilot-Lidar3DTargetDetection

LIRuimin,JIAXiongweil,RENXiaowen,PANFuquan?

(1.SchoolofMechanicalandElectricalEngineering,XianJiaotongEngineeringUniversity,Xian710300,China;

2.SchoolofCivilEngineering,QingdaoUniversityofTechnology,Qingdao266520,China)

Abstract:Inordertofurthersolvetheproblemthat3Dtargetimageandradarinformationaredifficulttomatch,a

camera-Lidar3Dtargetdetectionmethod(3DMMF)forautomaticdrivingmodefusionisdesigned.Theconstraintcon-

ditionsareintroducedintothemulti-dimensionalspace,andthesparsetensorisusedforprobabilityinformationfu-

sion.Themaximumpoolingmethodisusedtocorrespondwiththeexpectedtargetofprobabilityscore,andthefinal

fusioneffectisobtained.Theresultsshowthatcomparedwithpurepointcloud,theproposedmethodachievesgreat

improvementinvariousindexes,andtheaverageMAPincreaseis6.23%,whichreachestheoptimalstateintermsof

simplificationeffect.Theproposedmethodcanreducethepre-transmi