自动驾驶系统中摄像头相对地面的在线标定.docxVIP

相机与地面的在线标定是一般指实时生成相机与道路平面之间的非刚体变换，现有的解决方案常常利用静态标定，在面对轮胎气压变化、车辆载重体积变化和道路表面多样性等环境变化时存在问题。其他在线解决方案利用道路元素或图像中重叠视图之间的光度一致性，这需要在道路上连续检测特定目标或借助多个摄像头来进行标定。在这项工作中提出了一种在线的单目相机与地面标定解决方案，不需要在行驶过程中使用任何特定目标。通过轮速里程计进行粗到精的地面特征提取，并通过基于滑动窗口的因子图优化来估计相机与地面的标定参数。考虑到驾驶过程中相机与地面之间的非刚性变换，我们提供了衡量标定性能的指标和停止标准，以发布我们满意的标定结果。使用真实的数据进行的广泛实验表明该算法有效，并且优于现有的技术。

介绍

现代车辆配备了各种摄像头，以获取与周围环境相关的丰富语义信息，并将特征统一在共享的鸟瞰图中，以支持可解释的运动规划任务。相机与地面的标定在确定相机坐标和地面坐标之间的特征位置的几何变换方面起着关键作用。它有助于消除相机的透视畸变，提供鸟瞰图表示空间，并且便于估算安装在车辆上的相机与地面上位置之间的距离，这在先进驾驶辅助系统（ADAS）和自动驾驶系统中被广泛应用。在过去的几十年中，已经提出了许多相机与地面的标定方法。这些方法通常可以分为两类：（1）静态标定；（2）行驶过程中的在线标定。第一类方法通常使用诸如棋盘格或手动标注的地面物体等各种模式，事先计算相机与地面之间的变换关系。然而，由于车辆在道路上行驶时，由于轮胎气压变化、车辆载荷变化、道路表面多样性和部件振动，此类变换是非刚性的。相机与地面的标定应在行驶过程中进行多次，以调整几何投影的变化。例如，由周围视图鱼眼相机捕获的图像在图1(a)中，静态标定在图1(b)中会导致BEV图像不准确。在线标定可以减小变换误差，确保适当地处理投影变化，并生成图1(c)中对齐良好的BEV图像。图1.在给定的环视图鱼眼相机图像（a）中，静态标定包含了大量的相机到地面估计误差，导致BEV图像不匹配（b），但是我们的方法在（c）中生成了一个对齐良好的BEV图像。第二类现有方法应用在线标定，这需要从道路上提取出特定的几何形状，例如单目相机的消失点和周围视图相机提取的车道标线，或者多个相机之间重叠区域的光度一致性，以辅助标定调整。然而，在各种行驶环境中很难保持这些要求。在这种情况下，需要在使用单个摄像头连续图像的情况下进行相机与地面的标定，而不依赖于任何特定的标定目标。

主要内容

本文采用了一种从粗到精的方法，在车辆行驶在道路上时，通过因子图优化获取地面特征并优化相机到地面的标定参数，而无需使用任何特定的标定目标。利用图像中水平线分离地面和非地面区域，通过轮式测程法预测地面特征的位置，并使用基于几何的方法验证地面特征。对三角测量的地面特征进行平面拟合，以获取地面的法向量和相机到地面的高度，并通过因子图优化进一步改进这些参数，以确定相机到地面的变换关系。考虑到在驾驶过程中相机到地面的非刚性变换，还提出了度量标定性能的指标和停止准则，以确保标定质量。图2展示了我们的系统框图。主要包含以下模块：首先利用运动学自车模型恢复图像关键帧之间的相对运动，以便进行相机姿态估计和地面点三角测量；其次从关键帧中提取粗糙的地面特征，通过车辆运动进行特征预测，并进一步进行优化地面特征验证过程；然后进行地面平面拟合，获取地面法向量和相机到地面的高度；然后通过因子图优化来细化相机姿态和相机到地面的变换参数，并提出了一个停止标定准则，确定何时发布相机到地面的标定结果。图2.系统框架A.通过轮速里程计测量的相机运动?利用CAN总线系统提供的连续车轮里程读数估计车辆随时间的姿态变化，并确定相机关键帧之间的相对运动，以恢复单目相机系统的尺度因子。具体公式推导查看原文。B.连续关键帧的地面提取?地面特征（即车辆所行驶的道路表面上的特征）在相机与地面标定中起着重要作用。在城市/郊区环境中，大多数地面特征位于具有相似纹理的混凝土或沥青道路表面上，这些特征很难提取和匹配。提出了一种新颖的粗到细的地面特征提取架构，用于稳健的相机与地面标定，首先，我们引入地平线提取方法，通过车辆运动预测地面特征的位置，以便进行特征匹配。然后，我们利用几何方法来验证地面特征，并进行地面平面拟合，以获得地面法线向量和相机中心到地面的高度。在进行标定时，选择以稳定速度行驶时的关键帧，这样可以在不同的图像帧之间获得较小的相机姿态变化，有利于标定过程的稳定性，关键帧是指在时间序列中选择的一帧图像，通常表示为时间间隔的起点。从选择的关键帧开始，通过KLT稀疏光流算法提取图像中的角点特征，并进行跟踪。然后通过水平线分割图像，可以筛选位于水平线以下的特征点来选择地面特征，并利用车辆的运动信息进一步预测地面特征在下一个关键帧