CN118736009B 一种基于图像深度预测和单目几何的视觉里程计方法及系统 （江苏科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118736009B(45)授权公告日2025.07.11

(21)申请号202410853788.4

(22)申请日2024.06.28

(65)同一申请的已公布的文献号申请公布号CN118736009A

(43)申请公布日2024.10.01

(73)专利权人江苏科技大学

地址212000江苏省镇江市梦溪路2号

(72)发明人陈建军李壮

(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204

专利代理师丁静静

(51)Int.CI.

GO6T7/73(2017.01)

GO6T7/80(2017.01)

GO6T7/55(2017.01)

GO6T7/269(2017.01)

GO6N3/0895(2023.01)

(56)对比文件

CN112906766A,2021.06.04

CN111967337A,2020.11.20

CN111899280A,2020.11.06审查员李森娟

权利要求书3页说明书8页附图6页

(54)发明名称

一种基于图像深度预测和单目几何的视觉里程计方法及系统

(57)摘要

CN118736009B本发明公开了一种基于图像深度预测和单目几何的视觉里程计方法及系统，所述方法包括输入两个连续图像帧，采用尺度不变特征变换算法检测和描述图像局部特征，之后使用FLANN算法在两帧图像之间匹配对应的特征点对；使用对极几何约束求解本质矩阵，得到相机的相对姿态变换；构建并训练单目深度预测模型，为每一帧输入图像预测密集深度信息；如果两个连续图像帧构成的有效深度信息对的数量大于给定阈值，则使用三角测量法估算尺度因子，得到校正后相对姿态变换，否则利用透视N点投影算法、RANSAC算法和局部非线性优化相结合的方式，求解绝对姿态变换。本发明有效集成深度学习与传统几何

CN118736009B

CN118736009B权利要求书1/3页

2

1.一种基于图像深度预测和单目几何的视觉里程计方法，其特征在于，包括以下步骤：

步骤(1)输入两个连续图像帧，采用尺度不变特征变换算法检测和描述图像局部特征，之后使用FLANN算法在两帧图像之间匹配对应的特征点对(F?,F);

步骤(2)针对步骤(1)得到的特征匹配关系，使用对极几何约束求解本质矩阵E,得到相机的相对姿态变换；

步骤(3)构建并训练单目深度预测模型，为每一帧输入图像预测密集深度信息；

步骤(4)如果两个连续图像帧构成的有效深度信息对的数量大于给定阈值，则使用三角测量法估算尺度因子s,得到校正后相对姿态变换[R,st],R为旋转矩阵，t为平移向量；否则执行步骤(5);

步骤(5)利用透视N点投影算法、RANSAC算法和局部非线性优化相结合的方式，求解绝对姿态变换；

所述步骤(2)通过以下公式实现：

FTK-TEK-1F?=0,whereE=t^R

其中，E为本质矩阵，K为相机内参是个已知参数，相机的相对姿态变换[R,t]通过分解E求得；(F,,F?)为特征点对；

所述步骤(3)实现过程如下：

给定预测的深度D和相机姿态矩阵Tt+1→,重建出图像It+1→t:

It+1→=w(It+1,KTt+1→K?1xD[x])

其中，w(·)是可微分的图像翘曲函数，K为相机内参，[x]代表图像中某个点的像素值；利用生成的It+1→和参考图像I,构建如下目标函数：

pe(It+1→,I)=aSSIM(It+1,I)+(1-a)||It+1→-IIl?

其中，SSIM是结构相似度指数，α为平衡SSIM损失和L1损失的权重；

对于参考视图I,根据其邻近视图It-1、It+重建出图像It+1→、It-1→;只计算视图中最小的一对参考像素和合成像素之间的光度误差：

L=min(pe(I,It-1-),pe(I,It+1)

并引入了边缘感知深度平滑项L:

L?(D,It)=10×Dele-lax1el+I0yDtle-1ylel

其中，a|×Dt|和l?yDtl分别计算深度图D在水平和垂直方向上的梯度幅值，促使相邻像素的深度值接近；e-I?xltl和e-10yIel是基于当前视图图像梯度的权重项；在图像梯度较大的边缘区域，该权重项较小，允许深度图存在不连续；而在图像梯度较小的平坦区域