视觉里程计直接法原理与实现方法概述.pdfVIP

第8讲

视觉里程计2

本标

1.理解光流法特征点的原理。

2.理解直接法是如何估计相机位姿的。

3.使用g2o进行直接法的计算。

直接法是视觉里程计另一主要分支，它与特征点法有很大不同。虽然它还没有成为

现在VO中的主流，但经过近几年的发展，直接法在一定程度上已经能和特征点法

平分秋色。本讲，介绍直接法的原理，并利用g2o实现直接法中的一些

算法。

8.1直接法的引出

上一讲我们介绍了使用特征点估计相机的方法。尽管特征点法在视觉里程计中

占据主流地位，研究者们认识到它至少有以下几个缺点：

1.关键点的提取与描述子的计算非常耗时。实践当中，SIFT目前在CPU上是

无法实时计算的，而ORB也需要近20毫秒的计算。如果整个SLAM以30

毫秒/帧的速度运行，那么一大半时间都花在计算特征点上。

2.使用特征点时，忽略了除特征点以外的所有信息。一张图像有几十万个像素，

而特征点只有几百个。只使用特征点丢弃了大部分可能有用的图像信息。

3.相机有时会到特征的地方，往往这些地方没有明显的纹理信息。例

如，有时我们会面对一堵白墙，或者一个空荡荡的走廊。这些场景下特征点

数量会明显减少，我们可能找不到足够的匹配点来计算相机。

我们看到使用特征点确实存在一些问题。有没有什么办法能够克服这些缺点呢？我

们有以下几种思路：

•保留特征点，但只计算关键点，不计算描述子。同时，使用光流法（Optical

Flow）来特征点的。这样可以回避计算和匹配描述子带来的时间，

但光流本身的计算需要一定时间；

•只计算关键点，不计算描述子。同时，使用直接法（DirectMethod）来计算

特征点在下一时刻图像的位置。这同样可以跳过描述子的计算过程，而且直

接法的计算更加简单。

•既不计算关键点、也不计算描述子，而是根据像素灰度的差异，直接计算相

机。

第法仍然使用特征点，只是把匹配描述子替换成了光流，估计相机

时仍使用对极几何、PnP或ICP算法。而在后两个方法中，我们会根据图像的像素

灰度信息来计算相机，它们都称为直接法。

使用特征点法估计相机时，我们把特征点看作固定在三的不动点。根据

它们在相机中的投影位置，通过最小化重投影误差（Reprojectionerror）来优化相

机。在这个过程中，我们需要精确地知道空间点在两个相机中投影后的像素位

置——这也就是我们为何要对特征进行匹配或的理由。同时，我们也知道，计

算、匹配特征需要付出大量的计算量。相对的，在直接法中，我们并不需要知道点

与点之间之间的对应关系，而是通过最小化是光度误差（Photometricerror）来求

得它们。

直接法是本讲介绍的重点。它是为了克服特征点法的上述缺点而存在的。直接法根

据像素的亮度信息，估计相机的，可以完全不用计算关键点和描述子，于是，

既避免了特征的计算时间，也避免了特征的情况。只要场景中存在明暗变化

（可以是渐变，不形成局部的图像梯度），直接法就能工作。根据使用像素的数量，

直接法分为稀疏、稠密和半稠密三种。相比于特征点法只能重构稀疏特征点（稀疏

地图），直接法还具有恢复稠密或半稠密结构的能力。

上，虽然早期也有一些对直接法的使用[55]，但直到RGB-D相机出现后，人们

才发现直接法对RGB-D相机，进而对于单目相机，都是行之有效的方法。随着一

些使用直接法的开源项目的出现（如SVO[56]、LSD-SLAM[57]等），它们逐渐地走

上主流舞台，成为视觉里程计算法中重要的一部分。

8.2光流（OpticalFlow）

直接法是从光流演变而来的。它们非常相似，具有相同的假设条件。光流描述了像

素在图像中的，而直接法则附带着一个相机模型。为了说明直接法，我们

先来介绍一下光流。

图8-1LK光流法示意图。

灰度不变假设：,,)=,,)=,,)

111222333

光流是一种描述像素随着时间，在图像之间的方法，如图8-1所示。随着时间