ORB-SLAM系统特征分析研究①.docxVIP

? ? ORB-SLAM系统特征分析研究① ? ? 薛 瑞 李 易 李文明 安述倩 叶笑春 唐志敏 (?处理器芯片全国重点实验室(中国科学院计算技术研究所) 北京 100190) (??中国科学院大学计算机科学与技术学院 北京 100049) 0 引言 同步定位和建图(simultaneous localization and mapping,SLAM)作为自动驾驶汽车、机器人、无人机、虚拟现实和增强现实等自主系统的关键技术[1-3],能很好地应用在包括路径规划、导航、避障和3D 重建等高级任务中。在过去的几十年,无论在学术界还是工业界,SLAM 一直是研究的热点[4-7],其主要工作是设计自动导航系统、建立和更新周围3D 环境同时估计自身传感器的当前位置。 近年来,基于特征点法的SLAM 系统与其他基于直接法的SLAM 系统相比,对运动较快的场景具有更好的鲁棒性,且系统处理较为稳定,因此受到了特别的关注[8]。在基于特征点法的SLAM 系统中,ORB[9](oriented FAST and rotated BRIEF)特征计算方法相比于尺度不变特征变换(scale-invariant feature transform,SIFT)或加速鲁棒特征(speeded up robust features,SURF)算法具有良好的旋转和缩放不变性,计算效率和鲁棒性更高,因此被广泛采用。 由于ORB-SLAM 系统应用于现实世界的真实场景中,主要输入数据为大量的连续图像帧,因此针对海量的图像帧数据快速处理的需求,提高ORBSLAM 系统的处理性能成为当前亟待解决的问题,因此对ORB-SLAM 系统进行特征分析研究以指导面向ORB-SLAM 系统的底层硬件架构的设计具有重要的意义。目前已有的底层硬件架构设计有eSLAM[8]、HcveAcc[10]和PISCES[11]等。然而这些加速结构没有对算法进行深入的分析,缺乏为后续底层硬件架构设计提供有效的指导。针对上述问题,本文对ORB-SLAM 系统进行了较为全面的应用特征分析,以指导面向ORB-SLAM 系统的底层硬件架构的设计。 本文首先从对ORB-SLAM 系统介绍出发,分别详细阐述ORB-SLAM 系统[12]3 个线程的工作原理及其2个优化版本ORB-SLAM2[13]和ORB-SLAM3[14],并选取ORB-SLAM2 作为本文实验的目标系统。然后通过实验ORB-SLAM2 系统,得到并分析系统的热点函数特征。最后根据对热点函数特征的分析结果,提出设计面向ORB-SLAM 系统的底层硬件架构的需求。 本文的主要贡献包括:(1)完整地介绍了ORBSLAM 系统跟踪、地图构建和回环检测3 个线程的工作原理;(2)实验分析并重点阐述了ORB-SLAM2系统中的热点函数及执行特征;(3)通过对热点函数进行详细的特征分析实验,得到了面向ORBSLAM 系统对底层硬件架构的需求。 1 相关工作 当前主流的SLAM 系统由4 个阶段组成,分别为前端视觉里程计(visual odometry,VO)、后端优化(optimization)、回环检测(loop closing)和三维地图建立(mapping)[12-17]。前端视觉里程计阶段用来求解传感器在各个时刻的位置信息;后端优化阶段用来全局优化前端视觉里程计长时间的累计误差;回环检测阶段用来检测传感器是否到达之前到过的位置;三维地图建立阶段用来构建传感器在移动过程中周围的3D 点云地图。 前端视觉里程计有特征点法和直接法2 种求解方法,现有的基于特征点法的SLAM 系统有Mono-SLAM[18]、PTAM[15]、ORB-SLAM[12]及其优化系统ORB-SLAM2[13]和ORB-SLAM3[14]等,基于直接法的有DTAM[19]和LSD-SLAM[17]等;只关注于前端视觉里程计部分的VIO 设计方案有基于半直接法的SVO[16]、基于特征点法的OKVIS[20]和基于直接法的DSO[21]等;只关注于3D 重建部分的系统有Kinect-Fusion[22]、InfiniTAM[23]、ElasticFusion[24]等。表1 总结了最具有代表性的各个SLAM 系统。其中Mono-SLAM 系统是第一个实时的单目视觉SLAM 系统[18],扩展卡尔曼滤波(extended Kalman filter,EKF)作为后端优化的方法,追踪前端稀疏的特征点,以传感器当前状态和所有路标点为状态量,更新特征点的均值和协方差。该方法的缺点是场景窄、路标数有限、稀疏特征点易丢失。PTAM 系统[15]提出并实现了跟踪和建图的并行化,首次区分出前后端概念,即把跟踪需要实时响应的图像数据部分作为前端,地图优化放在后端进行。PTAM 系统