为何特斯拉FSDBETA9.0彻底抛弃雷达.docVIP

为何特斯拉FSDBETA9.0彻底抛弃雷达 作为自动驾驶算法工程师，多传感器融合是实现自动驾驶的必由之路这是我们长期秉持的观点理念，但是Tesla Autopilot以及FSD似乎一直在挑战这一观点。显然Elon Musk和特斯拉的工程师都是行业中最为杰出的人才，他们不会不知道多传感器融合的重要性，也不会因为固执己见而坚持做明显错误的决策，但是到底Tesla为什么选择走纯视觉的路线而摒弃Lidar和毫米波雷达恐怕在今年的AI Day之前我们都无法100%确切知晓原因，但是Elon在他的Twitter上分享了一些对于这一决定的思考，这里我试着对这些理论做一些分析理解。 马斯克在twitter解答网友对纯视觉方案的疑问 可以从马老板说明中看到，同时融合摄像头数据和毫米波雷达数据最大的障碍在于毫米波雷达信噪比很低，换句话说有大量误检测，将视觉感知结果与毫米波雷达结果进行融合时候，如果视觉和毫米波感知结果不一致，惯常做法是相信视觉而忽略毫米波检测结果。 为了进一步说明视觉毫米波融合的难题，首先介绍一下常见的多传感器融合策略。常用的多传感器融合策略分为前融合（紧耦合），后融合（松耦合），这里的前后指的是融合发生在算法处理数据得到结果之前还是之后。下面示意图来自多传感器融合技术（基本概念、前融合和后融合的区别） - 不止所见 - 博客园 前融合（紧耦合）将多传感器数据结合使用获得结果 后融合（松耦合）从各自传感器分别获得结果，再对结果进行融合 前融合因为综合考虑多种传感器的原始信息后进行算法处理，不同传感器信息得到最大程度保留，因此理论上效果最好。但是相机数据是结构化的高分辨率图像数据，毫米波雷达原始数据则是角分辨率很低且没有高程信息的稀疏点云，这二者原始数据很难融合成一套输入给到神经网络模型，因此目前绝大多数方案都是使用后融合（松耦合）方案。 然而后融合的松耦合方案在各传感器各自处理自己数据的过程中势必造成信息的丢失，融合过程是使用损失了信息的传感器输出结果进行融合，理论上效果不如紧耦合。下图是特斯拉主相机图像与毫米波检测结果（蓝色绿色黄色的圆点）叠加可视化的效果，可以看到毫米波雷达的高度上没有区分，因此路牌车辆道路边缘等多个检测结果都被可视化在同一高度，又由于毫米波角分辨率差，导致很难通过横向位置来正确匹配视觉检测结果（红色方框）和毫米波检测结果（圆点）。 视觉检测（方框）结合毫米波检测数据（圆点），毫米波雷达问题在于无高度信息，角分辨率也不准 马斯克所说的信噪比低正是由于缺少高程信息以及角分辨率低这些毫米波雷达固有的缺陷所导致的。由于毫米波没有高程信息，所以毫米波无法区分井盖，龙门架这些对于行车不会造成影响的静态物体和白色静止大卡车这样会造成碰撞事故的静态障碍物，如果过分相信毫米波雷达，则每经过龙门架和井盖自动驾驶都要幽灵刹车，如果过度忽略毫米波雷达的检测结果，就会造成类似近两年特斯拉Autopilot即使装备毫米波雷达仍旧很多时候无法处理静止白色大卡车这一极端情况（所以现阶段使用Autopilot时候驾驶员一定要关注路况！！！）。 由于毫米波雷达无法区分障碍物与井盖龙门架，自动驾驶一般不太重视毫米波的静态检测结果，造成撞上静止的白色大货车这类事故的发生 曾经一度传出Tesla会使用4D毫米波雷达来避免当前毫米波雷达造成的问题，4D毫米波具备更精确的角分辨率，理论上将帮助自动驾驶解决很多幽灵刹车和静态障碍物漏检的问题，我也曾经对Tesla能进行这一改进报以很大的期待，但是如今看来Tesla是准备彻底放弃毫米波了，这可能是出于4D毫米波产品还不成熟，成本高，产能不足，以及即使使用4D毫米波也很难找到合适的方法使毫米波雷达与相机进行前融合这些问题导致的。 其实从特斯拉的角度，他们如今FSD利用多相机融合实现的Birdeye view下的感知从实现的功能上来讲已经达到甚至超越激光雷达和毫米波雷达，只是在稳定性，泛化性上可能还有所不足，那么他们当务之急是如何迭代改进现有视觉融合方案，提高Birdeye view检测的泛化性。放弃了在绝大多数情况下性能不如相机的毫米波雷达反而简化了多传感器融合部分遇到的困难，同时节约成本，如果能够通过算法提升保证安全性，那这未尝不是一个合理的思路，但我对这一方案是否能够最终代替激光雷达和毫米波雷达至今仍旧期是期待但抱有疑虑，未来效果如何我们只能拭目以待了。 激光雷达和毫米波雷达对周围环境的感知 Tesla FSD Beta通过多相机的融合获得的Birdeye View下的感知结果很多时候媲美伸直超越激光和毫米波雷达