基于深度学习的视觉语义SLAM技术研究.pdfVIP

摘 要 经典的即时定位与建图技术SLAM 已经发展成熟，为了让机器人更智能地完成更高级别 的任务，需要将SLAM 与语义感知技术相结合。语义SLAM 问题应运而生，深度学习的发展 为语义SLAM 提供了很好的条件。SLAM 和语义之间是互补的关系，SLAM 可以为语义感知 引入空间几何信息，语义可以帮助SLAM 对地图进行更高层次的理解。目前语义SLAM 的开 源方案还不是很多，在应用落地方面还处于起步阶段。 本文针对语义SLAM 的研究现状以及存在的问题，将深度神经网络应用到前端视觉里程 计中，将物体级别的语义信息融合到SLAM 建图中，以及构建语义SLAM 系统以实现语义和 SLAM 的相互促进。 本文的主要工作有： 1. 设计并实现一种基于深度局部特征DELF 的视觉里程计。经典的SLAM 系统大都采用 传统手工特征，但是经典手工特征在光照变化、大型复杂场景下表现不佳。仿真验证了 基于深度卷积神经网络的DELF 特征能够有效提高视觉里程计的性能。 2. 提出一种基于RGB-D SLAM 和点云语义分割的语义地图构建方法，利用三维平截头体 进行语义感知。大多数语义建图方法采用稠密建图和二维语义分割技术，并将二维语义 信息映射到三维模型中。本文建立稀疏地图，对关键帧首先利用二维目标检测方法获取 目标候选区域，然后利用深度信息和位姿信息获取平截头体点云。直接对三维点云进行 语义分割，设计贝叶斯更新方案融合多帧信息。利用该方法能有效建立语义地图，并仿 真验证了SLAM 辅助语义感知的有效性。 3. 提出一种基于DELF 特征和感兴趣目标的语义SLAM 方案，将语义信息作为后端非线 性优化的因子。在特征匹配、重定位、闭环检测中使用统一的深度局部特征DELF 特征。 引入感兴趣目标的概念，辅助前端关键帧筛选以及后端非线性优化，将语义信息作为非 线性优化的因子。在闭环检测环节引入了序列匹配的方法进行闭环验证。仿真验证了各 个模块的引入能够有效提高系统的性能，且该方法性能优于多种经典方案。 关键词： 深度学习，语义SLAM，点云，语义分割，视觉里程计，语义数据关联 I Abstract ClassicSimultaneousLocalizationandMapping(SLAM)hasnowdevelopedintoamaturetech- nology. In order to perform high-level tasks more smartly, robots should perceive semantic informa- tionofthesurroundingenvironment. SemanticSLAMisanewtopicinthefieldofSLAM.Therapid developmentofdeeplearninghasprovidedgoodconditionsforsemanticSLAM.SLAMandseman- tic perception methods can promote each other. SLAM can provide spatial geometry information while semantic perception methods enable high-level understanding of the map. Several problems havebeenstudiedinthethesis,theyare: applyingdeepneuralnetworksintovisualodometry,fusing semanticinformationinthelevelofobjectintoSLAMandbuildingsemanticSLAMsystems. Mainworksofthisthesisareasfollows: 1. AvisualodometrybasedondeeplocalfeatureDELFisdesignedandimplemented. Mostclassic SLAMsystemsarebasedonartificial