上午六位复杂环境下视觉同时.pptx

复杂环境下的视觉同时定位与地图构建章国锋浙江大学CADCG国家重点实验室

SLAM:同时定位与地图构建机器人和计算机视觉领域的基本问题在未知环境中定位自身方位并同时构建环境三维地图广泛的应用增强现实、虚拟现实机器人、无人驾驶

SLAM常用的传感器红外传感器：较近距离感应，常用于扫地机器人。激光雷达、深度传感器。摄像头：单目、双目、多目。惯性传感器（英文叫IMU，包括陀螺仪、加速度计）：智能手机标配。常见的单目摄像头激光雷达普通手机摄像头也可作为传感器双目摄像头微软Kinect彩色-深度（RGBD）传感器手机上的惯性传感器（IMU）

SLAM的运行结果设备根据传感器的信息计算自身位置（在空间中的位置和朝向）构建环境地图（稀疏或者稠密的三维点云）稀疏SLAM稠密SLAM

SLAM系统常用的框架输入传感器数据前台线程根据传感器数据进行跟踪求解，实时恢复每个时刻的位姿后台线程进行局部或全局优化，减少误差累积场景回路检测输出设备实时位姿三维点云RGB图深度图IMU测量值优化以减少误差累积回路检测

SLAM应用介绍

扫地机器人小米扫地机器人以激光雷达为核心戴森360°Eye扫地机器人以视觉为核心（顶部有全景摄像头）

SLAM应用介绍

无人机大疆Phantom4结合双目立体视觉和超声波，实现空中精准悬停和安全航线自动生成

SLAM应用介绍

无人车MobileEye、特斯拉等自动驾驶方案以廉价的摄像头为主Google无人车项目Waymo使用高精度激光雷达构建地图

SLAM应用介绍

虚拟/增强现实：Inside-Out方案基于SLAM技术的VR/AR可以实现Inside-Out方案：将传感器固定在使用者端。优点：不需要提前布置环境中的传感器，没有活动范围的限制。目前绝大多数VR头盔都采用Outside-In的定位方案，需要在环境中放置一个或多个传感器，活动范围受限，不支持大范围移动的定位。《TheDevicesofVR:Part3–TheFutureofVR》

视觉SLAM技术主要传感器单目摄像头双目摄像头多目摄像头其它辅助传感器廉价IMU、GPS深度摄像头优势硬件成本低廉小范围内定位精度较高无需预先布置场景

主要挑战如何处理循环回路序列和多视频序列？如何高效高精度地处理大尺度场景？如何处理动态场景？如何处理快速运动和强旋转？

我们课题组的SfM/SLAM工作ENFT-SFM能够高效地处理循环回路和多视频序列单目SLAM系统ENFT-SLAM：能在大尺度场景下实时运行RDSLAM：能在动态场景下稳定工作RKSLAM：可以实时运行在移动设备上

ENFT-SFM:EfficientNon-ConsecutiveFeatureTrackingforRobustSFM

SfMforLoopbackSequencesandMultipleSequencesHowtoefficientlymatchthecommonfeaturesamongdifferentsubsequences?Howtoefficientlyperformglobaloptimizationandeliminatedrift?VisualSFMresult

Non-ConsecutiveFeatureTracking

TheDifficultiesforLarge-ScaleSfMGlobalBundleAdjustmentHugevariablesMemorylimitTime-consumingIterativeLocalBundleAdjustmentLargeerrorisdifficulttobepropagatedtothewholesequence.Easilystuckinalocaloptimum.PoseGraphOptimizationMaynotsufficientlyminimizetheerror.

Segment-basedProgressiveSfMSplitalongsequencetomultipleshortsequences.PerformSfMforeachsequenceandalignthemtogether.Detectthe``splitpoint’’andfurthersplitthesequenceifthereprojectionerrorislarge.Theaboveprocedureisrepeateduntiltheerrorislessthanathreshold.

ENFT