CN114612494B 一种动态场景下的移动机器人视觉里程计设计方法 （南京理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114612494B(45)授权公告日2025.07.04

(21)申请号202210242660.5

(22)申请日2022.03.11

(65)同一申请的已公布的文献号申请公布号CN114612494A

(43)申请公布日2022.06.10

(73)专利权人南京理工大学

地址210094江苏省南京市玄武区孝陵卫

200号

GO6N3/08(2023.01)

(56)对比文件

刘佳祺.室内动态场景下基于立体视觉的

SLAM系统研究.中国优秀硕士学位论文全文数据库信息科技辑.2024,全文.

审查员孟阳

(72)发明人樊卫华刘佳祺宋辉

(74)专利代理机构南京理工大学专利中心32203

专利代理师陈鹏

(51)Int.CI.

GO6T7/136(2017.01)

GO6N3/0464(2023.01)权利要求书2页说明书6页附图2页

(54)发明名称

一种动态场景下的移动机器人视觉里程计设计方法

(57)摘要

本发明公开了一种动态场景下的移动机器人视觉里程计设计方法，包括：通过Intel

CN114612494BRealSense深度相机获取实时图像信息并对其进行预处理；使用基于ORB算法提出的自适应阈值方法更全面地提取图像特征点；使用MS_cOCO数据集作为样本训练YOLACT网络并对图像进行实例分割，从而获取图像语义信息；结合图像语义信息和L-K光流法粗滤除动态特征点；基于渐进一致采样算法估计基本矩阵F,然后计算极线距离并精滤除动态特征点；最后选取滤除后的关键帧并作为局部建图线程的输入。本发明结合环境语义信息和几何约束滤除关键帧的动态特征点，

CN114612494B

滤

滤除

动态特征点

RGB-D

选取关键帧

YOLACT

实例分割图像语义信息

初始位姿估计

BA优化

运动一致性检测

ORB

特征提取

图像预处理

实例分割线程

跟踪线程

图像帧

CN114612494B权利要求书1/2页

2

1.一种动态场景下的移动机器人视觉里程计设计方法，其特征在于，包括以下步骤：

步骤S1:获取实时图像信息并进行预处理；

步骤S2:使用基于网格划分的自适应阈值方法提取图像ORB特征点，具体包含以下步

骤：

步骤S21:对输入的图像构建尺度金字塔，在不同尺度图像中计算ORB特征点；

步骤S22:将金字塔每层图像划分为相应列数和行数的网格，并设定每个网格内预提取特征点的数目和初始FAST角点提取阈值；

步骤S23:按初始阈值完成首次特征点预提取后，如果网格内实际提取特征点数目小于设定的预提取数目，则更改阈值继续提取，重复步骤S21-S23直至完成网格内特征点的自适应提取；

步骤S3:搭建YOLACT网络，采用MS_cOCO数据集为样本完成训练后对图像进行实例分

割，从而获取图像语义信息；具体包含以下步骤：

步骤S31:使用ResNet101卷积模块构建YOLACT主干网络部分，主要负责完成图像的特征提取；

步骤S32:构建FPN网络，生成多尺度特征图，保证能够检测不同尺寸的目标物体；

步骤S33:构建Protonet分支，生成原型掩膜，通过该掩膜提取待处理图像中感兴趣的部分；

步骤S34:构建PredictionHead分支，用于生成掩模系数，使用共享卷积网络，该步骤与S33同步进行；

步骤S35:使用MS_cOCO数据集中常见的18类室内家居物品作为训练样本对YOLACT网络进行训练；

步骤S4:结合图像语义信息和L-K光流法进行运动一致性检测，并粗滤除动态特征点；

步骤S5:基于PROSAC方法对两帧图像的特征点进行匹配，并估计基础矩阵；

步骤S6:根据基础矩阵计算极线距离，精滤除动态特征点，根据所选取的关键帧估计机器人初始位姿并对结果进行BundleAdjustment优化。

2.根据权利要求1所述的动态场景下的移动机器人视觉里程计设计方法，其特征在于，步骤S1中通过IntelRealSense深度相机获取实时图像信息，所述的预处理包括去除噪点及灰度化操作。

3.根据权利要求1所述的动态场景下的移动机器人视觉里程