CN114022799B 一种自监督单目深度估计方法和装置 （中国人民解放军军事科学院国防科技创新研究院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114022799B(45)授权公告日2025.07.11

(21)申请号202111117413.4

(22)申请日2021.09.23

(65)同一申请的已公布的文献号申请公布号CN114022799A

(43)申请公布日2022.02.08

(73)专利权人中国人民解放军军事科学院国防

科技创新研究院

地址100071北京市丰台区东大街53号

(72)发明人史殿习聂欣雨陈旭灿

苏雅倩文李睿豪张拥军

(74)专利代理机构北京辰权知识产权代理有限公司11619

专利代理师付婧

(51)Int.CI.

GO6V20/40(2022.01)

GO6V10/764(2022.01)

GO6V10/82(2022.01)

GO6V10/774(2022.01)

GO6N3/045(2023.01)

GO6N3/084(2023.01)

GO6N3/0895(2023.01)

GO6N3/098(2023.01)

(56)对比文件

CN113313732A,2021.08.27

CN113269699A,2021.08.17审查员李邵飞

权利要求书2页说明书13页附图4页

(54)发明名称

一种自监督单目深度估计方法和装置

(57)摘要

CN114022799B本申请涉及深度估计技术领域，更为具体来说，本申请涉及一种自监督单目深度估计方法和装置。所述方法包括：获取视频数据；将所述视频数据输入训练好的教师模型，得到第一深度图；将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练。本申请可以有效地估计深度图，能感知并屏蔽深度估计结果中存在的噪声，使模型达到更好的估计精度，带来明显的性能提升。本申请以深度不确定性图的

CN114022799B

获取视频数据

将所述视频数据输入训练好的教师模型，得到第一深度图

将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图

S1

S2

S3

CN114022799B权利要求书1/2页

2

1.一种自监督单目深度估计方法，其特征在于，包括：

获取视频数据；

将所述视频数据输入训练好的教师模型，得到第一深度图；

将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；

其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练；

所述教师模型和所述学生模型采取联合训练，包括：

向教师模型载入无标注的视频数据；

采取自监督训练方式进行训练教师模型，预测得到第三深度图；

基于所述第三深度图创建带有伪标注的深度估计任务数据集；

利用所述带有伪标注的深度估计任务数据集对学生模型采取有监督训练；

所述利用所述带有伪标注的深度估计任务数据集对学生模型采取有监督训练之后，还包括：

判断教师模型和学生模型是否收敛，若收敛则结束训练；

若不收敛则预测得到第二深度不确定性图，并基于所述第二深度不确定性图计算深度不确定性遮罩；

利用所述深度不确定性遮罩优化所述教师模型。

2.根据权利要求1所述的自监督单目深度估计方法，其特征在于，所述向教师模型载入无标注的视频数据之后，还包括：

判断教师模型是否存在深度不确定性遮罩，如果是，载入所述深度不确定性遮罩，如果否，载入空白遮罩。

3.根据权利要求1所述的自监督单目深度估计方法，其特征在于，所述基于所述第二深度不确定性图计算深度不确定性遮罩的计算公式为：

其中，∑表示第二深度不确定性图，P?5%表示深度不确定性图中第95个百分位数。

4.根据权利要求1所述的自监督单目深度估计方法，其特征在于，所述方法还包括：基于教师模型的第一深度图约束学生模型的第二深度图和第一深度不确定性图，约束所构造的损失函数为：

其中，V表示图像中的所有像素点，D表示第一深度图，D表示第二深度图，∑表示第一深度不确定性图。

5.根据权利要求1所述的自监督单目深度估计方法，其特征在于，所述教师模型包括深度估计网络、图像特征提取网络和位姿估计网络，所述将所述视频数据输入训练好的教师模型，得到第一深度图，包括：

将所述视频数据输入训练好