ORBSLAM总结教学课件.pptx

ORBSLAM总结 01 02 目录 Part One ORB-SLAM介绍 01 介绍 ORB-SLAM是由Raul Mur-Artal，J. M. M. Montiel和Juan D. Tardos于2015年发表在IEEE Transactions on Robotics。项目主页网址为：http://webdiis.unizar.es/~raulmur/orbslam/。 ORB-SLAM是一款适用于单目，立体和RGB-D摄像机的多功能精确SLAM解决方案。在大小场景、室内室外环境下都可以实时操作的一种基于特征的单目SLAM系统。 SLAM系统对复杂的剧烈运动具有鲁棒性，支持宽基线的闭环检测和重定位，包括全自动初始化，它包括从平面和非平面场景进行自动且稳健的初始化。它能够在各种环境中实时计算摄像机轨迹和场景的稀疏3D重建，范围从桌面的小型手持序列到围绕几个城市街区行驶的汽车。 ORB-SLAM包含了所有SLAM系统共有的模块：跟踪（Tracking）、建图（Mapping）、闭环检测（Loop closing）、重定位（Relocalization）。 ORB是属于特征点法的特征提取与匹配的算法之一。 贡献 1.使用ORB特征描述，不用GPU加速就可以实时，具有视点不变性和光照不变性 （ORB（Oriented FAST and Rotated BRIEF）是一种快速提取特征点和描述子的算法。其特征检测基于FAST，采用BRIEF描述子并加以改进。） 2.使用Covisibilty Graph，使跟踪和建图聚焦在局部共视区域 （Covisibility Graph是一个无向有权图(graph),每个node就是关键帧，edge的权重就是两个关键帧找到足够多的相同的 3d 点的数目。） 3.使用the Essential Graph来优化位姿实现回环检测 （为了在优化阶段减小计算量，能够连接所有的node，但是edge会减少很多。可以认为是Covisibity Graph的最小生成树（MST）。） 4.相机重定位，视点和光照改变都适用 5.根据对平面和非平面选择不同模型，实现自动初始化 6.舍弃多余的关键帧，提高跟踪鲁棒性，加强长时间操作 系统架构 系统架构 系统架构 （1）跟踪（Tracking）   前端位姿跟踪线程采用恒速模型，并通过优化重投影误差优化位姿。这一部分主要工作是从图像中提取ORB特征，根据上一帧进行姿态估计，或者通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新的关键帧。 （2）建图（LocalMapping）   通过MapPoints维护关键帧之间的共视关系，通过局部BA优化共视关键帧位姿和MapPoints。这一部分主要完成局部地图构建。包括对关键帧的插入，验证最近生成的地图点并进行筛选，然后生成新的地图点，使用局部捆集调整（Local BA），最后再对插入的关键帧进行筛选，去除多余的关键帧。 （3）闭环检测（LoopClosing）   这一部分主要分为两个过程，分别是闭环探测和闭环校正。闭环检测先通过bag-of-words模型加速闭环匹配帧的筛选、探测，然后通过Sim3算法计算相似变换。闭环校正，主要是闭环融合和Essential Graph的图优化。 （4）使用bag-of-words加速匹配帧的筛选，并使用EPnP算法完成重定位中的位姿估计。 ORB_SLAM节点的topic Published topics: * /ORB_SLAM/Map [visualization_msgs/Marker] 1 publisher * /ORB_SLAM/Frame [sensor_msgs/Image] 1 publisher * /rosout [rosgraph_msgs/Log] 1 publisher * /tf [tf2_msgs/TFMessage] 1 publisher * /rosout_agg [rosgraph_msgs/Log] 1 publisher Subscribed topics: * /camera/image_raw [sensor_msgs/Image] 1 subscriber * /rosout [rosgraph_msgs/Log] 1 subscriber rosrun image_view image_view image:=/ORB_SLAM/Frame _autosize:=true 订阅/camera/image_raw这个topic,然后被 ORB_SLALM 节点处理后的图像帧被发布到话题 ORB_SLAM/Frame 中，可以通过使用 image_view 功能包来查看 rosru