CN115423857B 一种用于可穿戴头盔的单目图像深度估计方法 （中国矿业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115423857B(45)授权公告日2025.07.01

(21)申请号202211242648.0

(22)申请日2022.10.11

(65)同一申请的已公布的文献号申请公布号CN115423857A

(43)申请公布日2022.12.02

(73)专利权人中国矿业大学

地址221000江苏省徐州市南郊翟山

(72)发明人张华强程德强寇旗旗刘敬敬徐飞翔韩成功张皓翔吕晨

(74)专利代理机构南京正联知识产权代理有限公司32243

专利代理师俞晓梅

(51)Int.CI.

GO6T7/50(2017.01)

GO6T7/13(2017.01)

G06T7/90(2017.01)

GO6V10/74(2022.01)

GO6V10/762(2022.01)

(56)对比文件

程德强等.“基于层级特征融合的室内自监督单目深度估计”.《光学精密工程》.2023,第31卷(第20期),第2993-3009页.

审查员刘倩倩

权利要求书4页说明书9页附图3页

(54)发明名称

一种用于可穿戴头盔的单目图像深度估计方法

(57)摘要

CN115423857B本发明公开了一种用于可穿戴头盔的单目图像深度估计方法，涉及图像处理技术领域，包括如下步骤：以矿井图像序列作为训练数据，建立进行单目深度估计的深度卷积神经网络模型的训练模型，并从卷积神经网络的平面系数解码器中计算出能预测井下图像深度图的平面系数；基于所述平面系数预测出初始井下图像深度图，根据曼哈顿结构法向检测得到预测法向量，从而与对齐法线相似性约束；通过共平面法向深度约束估计，提取初始预测深度和平面差异求得的深度图，利用两者风格矩阵进行余弦相似度约束。本发明基于能预测井下图像深度图的平面系数间接再预测出深度图，打破了传统的生成初始深

CN115423857B

矿井

矿井RGB图像

卷积神经网络

获得平面系数

初始深度图

共平面法向深度约束估计

曼哈顿结构深度约束估计

CN115423857B权利要求书1/4页

2

1.一种用于可穿戴头盔的单目图像深度估计方法，其特征在于，包括如下步骤：

步骤a,以矿井图像序列作为训练数据，建立进行单目深度估计的深度卷积神经网络模型的训练模型，利用残差卷积神经网络作为编码器提取井下图像序列的特征，进而通过平面系数解码器计算出能够预测井下图像深度图的平面系数，然后通过平面系数恢复出初始井下图像深度图；

步骤b,对步骤a得到的初始井下图像深度图进行主导法向量估计，从而将其曼哈顿结构法向约束作为损失函数约束估计；

所述主导法向量估计采取自适应的方法，通过计算矿井下平面的总数，然后选取N为界限值，N大于10时，选取较大平面的50%作为估计法向量的平面，N小于等于10时，选取较大平面的70%作为估计法向量的平面；

步骤c,利用步骤a得到的初始井下图像深度图以及步骤b主导法向量，获取平面到原点差异、法向量差异，与颜色差异组成共平面差异，从而估计出新的平面深度图，以风格特征作为损失函数进行深度约束估计；

所述提取风格特征作为额外信号来约束估计的深度具体为：将预测的初始深度D和平面深度Dme分别送入卷积神经网络中编码器提取它们的风格特征以得到两者的格拉姆矩阵gram1和gram2,对两者风格矩阵展开变成一维向量，最后求取该两者的余弦相似度，具体约束为：

其中Np?ane是平面区域M°内的像素数，ngarm,ngram?为提取的两者风格矩阵的一维向量，s(,)为余弦相似度计算。

2.根据权利要求1所述的一种用于可穿戴头盔的单目图像深度估计方法，其特征在于，所述步骤a中通过平面系数恢复出初始井下图像深度图的方法包括：

单目深度估计需要学习一种稠密映射：

f。:I(u,v)→D(u,v);

其中，I是尺度为H×W的输入图像，D是相同分辨率的对应深度图，(u,v)是图像空间中的像素坐标，0是映射f的参数；

假设反向投影的三维点P对应于3D场景的平面部分，点-法线形式中的关联平面方程为np+d=0,其中n=(a,b,c)是平面法向量，d是平面到原点的距离；使用针孔相机模型，并给定相机焦距(f,f,)和主点(u?,v。),图像中每个像素点p=(u,v)通过以下式子