CN112446882B 一种动态场景下基于深度学习的鲁棒视觉slam方法 （北京工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112446882B(45)授权公告日2025.01.10

(21)申请号202011169500.X

(22)申请日2020.10.28

(65)同一申请的已公布的文献号申请公布号CN112446882A

(43)申请公布日2021.03.05

(73)专利权人北京工业大学

地址100124北京市朝阳区平乐园100号

(72)发明人阮晓钢郭佩远黄静于乃功

(74)专利代理机构北京思海天达知识产权代理有限公司11203

专利代理师沈波(51Int.CL.

(56)对比文件

CN111462135A,2020.07.28CN111814683A,2020.10.23审查员狄希

GO6T7/10(2017.01)

GO6T7/246(2017.01)

权利要求书1页说明书4页附图2页

(54)发明名称

一种动态场景下基于深度学习的鲁棒视觉SLAM方法

(57)摘要

CN112446882B本发明公开了一种动态场景下基于深度学习的鲁棒视觉SLAM方法，属于人工智能与机器人和计算机视觉领域。本发明采用相机作为图像采集装置。首先对相机采集的图像序列利用基于深度学习的MaskR-CNN语义分割网络将图像中的对象划分成静态对象和动态对象，动态对象的像素级语义分割作为语义先验知识并剔除动态对象上的特征点；利用对极几何特性的几何约束进一步检查特征是否是动态特征；结合局部建图和回环检测模块构成完整的鲁棒视觉SLAM系统。本发明可以很好的减小SLAM系统的绝对轨迹误差和相对位姿误差，提高

CN112446882B

跟踪

跟踪

提取ORB特征

动一数性检测

语义分割

MaskR-CNN进行语义分割

下—

创建地图点

局部关键帧剔除

局部地图

关键赖

插入关键帧

闭环优化

闭环检测

动态特征点去除

闭环检测

图像

权利要求书

1/1页CN112446882B

1/1页

2

1.一种动态场景下基于深度学习的鲁棒视觉SLAM方法，其特征在于：该方法基于视觉传感器相机实现，具体包括以下步骤：

S1对相机采集的图像序列利用基于深度学习的语义分割网络将图像中的对象划分成静态对象和动态对象，动态对象的像素级语义分割作为语义先验知识；

S1.1搭建MaskR-CNN分割网络，采用MaskR-CNN网络进行潜在动态对象的语义分割；S1.2利用MSCOCO数据集作为训练样本对MaskR-CNN网络进行训练；

S1.3MaskR-CNN网络的输入为m×n×3的RGB图像，输出为m×n×1的矩阵，通过将所有的输出通道合并成一个通道，获得出现在一个场景图像中的所有动态对象的分割；

S2利用运动一致性检测算法检查特征是否是动态特征；

S2.1对输入的图像序列进行ORB特征点提取；

S2.2采用光流法获取像素在图像中的运动，从而实现像素点的追踪；

S2.3使用经典的八点法估计基础矩阵F;

S2.4使用基础矩阵F和特征点计算当前帧中特征点对应的极线；

S2.5计算极线的距离与预定阈值的关系来判断特征点是否移动；

S3通过插入关键帧、删除冗余地图点和关键帧、局部集束调整进行局部建图；步骤如下：3.1)将新的关键帧作为新的节点加入图中，并且更新与那些能够共享地图点的关键帧节点相连接的边；同时更新关键帧的生长树，并计算表示关键帧词袋BOW;

3.2)为保存地图点，必须在创建该节点的前三帧测试通过约束，少于三个关键帧能观察到该节点时将当前地图点删除；

3.3)对于未匹配的点，与其他关键帧中未被匹配的特征点进行匹配，ORB特征点对三角化后，检查正向景深、视差、反投影误差和尺度一致性，创建新的地图点；

3.4)局部集束调整对当前处理的关键帧进行优化；

3.5)为控制重建的紧凑度，通过局部建图检测冗余的关键帧，将90%的点能够被超过三个关键帧观察到的关键帧认为是冗余关键帧，将其删除；

S4通过闭环来检测是否曾经来过此处，进行后端优化，将累计误差缩小到一个范围内；步骤如下：

4.1)检测对列中是否有新的关键帧，如果地图中的关键帧数小于10,那么不进行闭环检测；

4.2)检测闭环：

4.2.1)获取共视关键帧，并计算他们和当前关键帧之间的BoW分数，求得最低分；

4.2.2)通过计算出的最低分数到数据库中查找出候选关键帧，找到曾经到过此处的关键帧；

4.2.3)对候选关键帧集进行连续性