01传感器联合标定与感知融合（标定篇）.pdfVIP

传感器联合标定与感知融合 （标定篇） 一）背景扯皮 为啥把这两个放在一起呢?两个貌似没有关联的板块其实有很多的共性，如 空间共性，时间共性等。 先介绍一下标定。传感器标定可以分为两个部分，内参标定和外参标定。 内参标定是决定传感器内部的映射关系，比如摄像头的焦距、畸变系数等，而 外参是决定传感器和车辆坐标系的转换关系，如旋转平移等。为啥会有联合标 定呢？各种传感器得出的数据格式，摄像头获取的是RGB 的图像信息流，激光 雷达获取的是3D 点云距离信息；GPS-IMU 给出的是车身位置姿态信息；毫米 波雷达给出的是2D 反射图，所以要取得一个最佳的衡量值，来使得传感器之 间的数据性能达到最优。 标注，不管是targetless 还是target 的标注，都需要纹理特征比较明显的场 景，如targetless 需要的是空旷的、有树木、路灯、交通标识牌、车道线等纹理 信息明确的，而target 虽然受场地约束，但标定参考物纹理特征也比较明显， 如棋盘格之类的。 单一传感器的标定会在后续的章节中详细介绍，联合标定按照传感器类型 不同，可以分为：相机到相机、相机到激光、相机到毫米波、相机到IMU 的标 定。这里仅就相机到相机、相机到激光的外参进行标定（相对车辆后轴中心的 坐标）。 相机到相机：一般智能驾驶会采用多个相机，长距相机一般视野比较小， 用来检测远处场景，短距相机的视野比较大，一般用来车道线检测和近处检测 等。常规的做法一般是将同一视野范围内的图像进行融合 （和融合相关了）判 断，检测同一目标是否进行对齐。在融合图像中，一般选择距离适中的目标进 行对齐（如50 米以外），这样重合后能够得到较高的精度。如果出现重影或者 错位，那么就认为是存在误差，当误差大于一定范围 （范围根据经验定义） 时，标定失败，需要重新进行标定。（注：近处物体因为相机畸变，存在水平错 位，且距离越近，错位量越大。纵向不受畸变影响。） 相机到激光：相机和激光的标定是目前经常采用方法是投影法，即将产生 的点云数据投影到图像内 （数据融合来了），然后寻找其中具有明显边缘的物体 和标记物，检查其轮廓对齐情况，一般算法包括语义分割和点云分割等。如果 在50 米以内的目标，点云边缘和图像边缘能够重合，则可以证明标注结果的精 度很高，如果出现错位，则标定结果存在误差。当误差大于一定范围时，该外 参不可用。 ▲微信扫码可查看、购买、学习课程 二）技术扯皮 关于传感器联合标定，网上有很多内容可以去参考，这里没啥可以写的， 就简单的总结一下。 图1 基于传感器融合里程计的联合标定 上图是日本东京大学发的一篇激光和摄像头联合标定的方法。虽然也是基于 手眼标定法，但其基于传感器融合里程计的摄像头运动估计思想，先分别获取摄 像头和激光的初始外参，然后利用初始外参和点云数据，重新计算带尺度的相机 运动，并根据这些运动重新计算外部参数，并反复进行相机运动和外部参数的交 互，直到估计收敛为止。 图1 上中，假设A 和B 分别为两个固定传感器观察到的位置和方向变化，X 为两个传感器之间未知的相对位置和方向。进而得到表达式AX=XB ，利用该表 达式求解X ，得到传感器之间的外部参数。然后根据噪声对传感器的影响，在标 定方法中采用卡尔曼滤波对传感器的偏差进行补偿。 从图1 可以看出，激光雷达的姿态发生了变化，针对这种变化，一般采用ICP 来进行姿态的求解。而相机的运动，一般采用特征匹配。 然后两种方式进行结合进行外部参数的估计。大概的流程图如图2 。 图2 基于传感器融合里程计联合标定流程图 手眼标定法的经典解法一般是先求解旋转矩阵，然后再估计平移向量。如下 公式，假设相机与激光测量的第i 个位置和姿态变化分别为4*4 的矩阵Ai 、Bi ， 两个传感器之间外部参数为4*4 的矩阵X ，可以建立 = ，公式建模有： = (1)