视觉SLAM技术及应用.PDF

视觉 SLAM 技术及应用 2018 年9 ⽉ 16 ⽇ 目录 1 视觉 SLAM 简介 1 2 非连续特征跟踪 2 3 大尺度场景下的优化策略 3 4 动态场景下的 SLAM 4 5 用于移动端的 SLAM 4 6 基于 RGB-D 相机的稠密 SLAM 5 7 应用与趋势 6 摘要 SLAM （Simultaneous Localization and Mapping）意为同时定位与建图，⽽视觉 SLAM 是以视觉传感器为主的 SLAM 技术。视觉 SLAM 技术被⼴泛应⽤于机器⼈、⾃ 动驾驶、增强现实等领域。本⽂先介绍了视觉 SLAM 技术及其⾯临的实际问题；为了解 决这些问题，然后介绍了课题组的五项⼯作：⾮连续帧的特征匹配、⼤尺度场景下的优化 策略、如何应对动态场景、移动端 SLAM 和增量式优化的 RGB-D SLAM ；最后讨论了 视觉 SLAM 技术的应⽤领域和发展趋势。 1 视觉 SLAM 简介 SLAM 属于机器⼈领域。SLAM 的定义是，在未知环境下，同时估计设备的位置姿态和 三维环境结构。因为SLAM 技术能估计⾃⾝位姿，所以被⼴泛应⽤于增强现实（AR）、虚拟 现实（VR）、机器⼈、⾃动驾驶等领域。根据地图的不同形式，SLAM 可分为稀疏 SLAM 和 稠密 SLAM。 SLAM 技术经过多年发展，⽬前它的框架趋于稳定（图1）。其框架主要包括了并⾏的跟 踪（Tracking）和建图（Mapping）线程，前端根据传感器输⼊的数据，实时跟踪地图并估计 1 图1: SLAM 技术框架 相机的位姿，后端则进⾏局部或全局地图优化和回路闭合，从⽽消除误差累积。最后实时输 出设备的位姿和三维地图。 视觉 SLAM 的传感器主要是相机，分为单⽬相机、双⽬相机和多⽬相机。⼴义上的视觉 SLAM 是指，以视觉传感器为主、其他传感器为辅的技术，其他的传感器包括IMU、GPS、深 度相机等。视觉 SLAM 的主要优势在于它的成本低、⼩尺度场景下定位精度⾼、不需要预先 的场景布置。 视觉 SLAM 技术的理论基础是多视图⼏何（Multi-View Geometry）。根据相机投影⽅程 我们知道三维空间点在像平⾯的观测投影点和理论计算得到的结果应当是相 同的，但实际上却存在重投影误差，所以我们需要优化变量，最⼩化重投影误差。视觉SLAM 技术经过多年发展，其理论已经成熟，但在实际复杂场景应⽤时却会遇到以下⼏个⽅⾯的挑 战： • 如何处理循环回路序列和多视频序列 • 如何在⼤尺度场景下实现⾼精度实时定位 • 如何在动态场景下稳定跟踪 • 如何应对快速运动和剧烈旋转的情况 围绕这些问题，我们课题组完成了以下五个⼯作。 2 非连续特征跟踪 运动恢复结构（SfM）的是指根据视频序列或多张图像，离线或在线地恢复出相机位姿。 运动恢复结构⾸先需要解决好特征匹配，特征匹配是根本性的前提，如果特征匹配做不好，会 导致后⾯的结果不稳定。 第一个需要解决的问题：如何匹配不同子