TeslaAutopilot技术架构解读.docVIP

TeslaAutopilot技术架构解读 FSD Overview Figure 1 Tesla Autopilot传感器分布 FSD装备8台相机每台相机在36Hz频率采集960x1280的三通道图像（相机参数Karpathy只是举例说明，并不一定是Tesla实际使用的相机Spec），利用所有8个相机的图像，FSD进行超过1000种不同任务的感知预测（数字统计位2020年上半年数据现在可能有所增加）。 所有这些感知功能跑在Tesla自研的FSD Computer上，这台机器有着两颗冗余的FSD chip，每个芯片提供72TOPS(int8)的计算能力，两颗加起来共提供144TOPS算力，其中自带的高速图像处理模块理论上可以支持8颗摄像头在60Hz的频率上传输1080P的图像，其运算能力高于目前市场上的其他高端自动驾驶芯片如Xavier， EyeQ5等。 根据2020年底消息，Tesla将在近期将前向毫米波雷达更新成具有高度分辨率的4D毫米波雷达以提高对于静态障碍物的检测能力。 FSD目前包含的1000多项检测任务覆盖面非常广，包括但不限于下面分类的超过50种Main Task： Moving Objects: Pedestrian, Cars, Bicycles, Animals, etc. Static Objects: Road signs, Lane lines, Road Markings, Traffic Lights, Overhead Signs, Cross-Walks, Curbs, etc. Environment Tags: School Zone, Residential Area, Tunnel, Toll booth, etc. 其中每个Main Task下边还有若干Sub tasks，例如车辆检测还包括车辆的静止，朝向，开门等子任务的检测，Stop Sign检测包括如右转无需停车等细分类检测等等。 除了检测任务，FSD还有训练很多功能网络，包括但不限于下面功能48个子网络： Depth Network: 用以进行稠密的深度估计 Birdeye View Network: 用以进行图像到Birdeye view的坐标投影 Layout Network: 用以推测道路元素的布局情况 Pointer Network: 用以预测道路元素间的关联，例如红绿灯对应车道 另外FSD将基于sampling的输出变为基于rasters的输出，二者区别是sampling的输出来自确定geometry的采样，rasters则能够表示uncertainty，more uncertainty意味着输出更加的diffused。 Model Architecture 为了进行如此复杂的感知任务，特斯拉在神经网络结构的选择上做了很多考量。 2.1. ?Single task network vs Multi tasks network 2.2. Loosely coupled heads vs Tightly coupled heads 松耦合指的是每个相机单独进行感知，然后将不同相机的感知结果利用Filter或其他技术进行拼接(stitch)，例如1.0版本的Smart Summon就采用了这一方法，利用不同相机检测到的curb进行拼接的到停车场的Occupancy Grid的地图，从而在这个地图进行导航。 Figure 2 基于Occupancy Grid的老版本Smart Summon 但是在不同相机和不同frame间track不同的grid是一件困难的工作。在新版本的Smart Summon中，Tesla采用了对不同相机Feature层输入一个Fusion Layer进行Feature层面的融合，然后输入Birdeye View Network，最终在Birdeye的基础上再分支成不同的heads进行如Object Detection， Road Line Segmentation， Road edge detection等输出。 Figure 3 利用各相机直接进行Birdeye View输出，可输出道路边缘，隔离带，通行区域等分割结果 最终FSD使用的是一个规模巨大的Multi-head network，其中主干网络采用类似ResNet-50的架构用以进行Feature的提取，功能分支采用与FPN/DeepLabV3/UNet类似的结构用以实现不同功能的输出。 Figure 4 不同相机间特征共享的架构 Figure 5 不同相机负责不同的功能分支 最终FSD的网络架构如上面两图所示的共享Backbone加上众多功能Heads的多任务HydraNet，不同相机负责不同的功能，且网络引入了RNN的结构来进行跨时间的感知