CN115661224B 一种基于无监督的多帧内镜场景深度估计方法及设备 （山东科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115661224B(45)授权公告日2025.07.01

(21)申请号202210582504.3

(22)申请日2022.05.26

(65)同一申请的已公布的文献号申请公布号CN115661224A

(43)申请公布日2023.01.31

(73)专利权人山东科技大学

地址266590山东省青岛市黄岛区前湾港

路579号

专利权人北京航空航天大学

(72)发明人陈伟海邵树威张桂林张建强孙崇尚

(74)专利代理机构北京君慧知识产权代理事务所(普通合伙)11716

专利代理师王彬

(51)Int.CI.

G06T7/55(2017.01)

GO6T7/40(2017.01)

GO6N20/00(2019.01)

(56)对比文件

CN113888613A,2022.01.04CN114022527A,2022.02.08审查员黄沛

权利要求书3页说明书8页附图2页

(54)发明名称

一种基于无监督的多帧内镜场景深度估计方法及设备

(57)摘要

CN115661224B本发明公开了一种基于无监督的多帧内镜场景深度估计方法及设备，属于外科导航技术领域，用于解决现有内镜场景深度图在自适应传播中，由于非朗伯反射以及相互反射导致低纹理和均匀纹理区域的表征不明显，并且在亮度波动区域的鲁棒性效果差。方法包括：确定内镜场景图像对应的点云转换视图，并将点云转换视图的目标帧以及源帧进行合成，得到合成帧；提取合成帧中的关键点，确定采样像素深度；将采样像素深度与合成帧结合，得到光度损失；根据目标帧，得到交叉教学一致性损失以及自主教学一致性损失；并再结合预设边缘感知平滑性损失，得到

CN115661224B

图。

确定内镜场景图像对应的点云转换视图，并将点云转换视图的目标帧以及源帧

确定内镜场景图像对应的点云转换视图，并将点云转换视图的目标帧以及源帧进行合成，得到合成帧

提取合成帧中的关键点，并根据关键点，确定采样像素深度

将采样像素深度与合成帧结合，得到光度损失

根据目标帧，得到交叉教学一致性损失以及自主教学一致性损失

通过光度损失、交叉教学一致性损失、自主教学一致性损失以及预设边缘感知平滑性损失，得到总优化损失

根据总优化损失，对无监督多倾单目训练深度估计模型进行优化训练，以使无监督多帧单目训练深度估计模型输出优化后的内镜场景深度图

S101

S102

S104

S105

S106

CN115661224B权利要求书1/3页

2

1.一种基于无监督的多帧内镜场景深度估计方法，其特征在于，所述方法包括：

确定内镜场景图像对应的点云转换视图，并将所述点云转换视图的目标帧以及源帧进行合成，得到合成帧；

提取所述合成帧中的关键点，并根据所述关键点，确定采样像素深度；

将所述采样像素深度与所述合成帧结合，得到光度损失，具体包括：

根据深度合成式：,得到源帧视图s到目标帧视图t的支持域!;其中，K为获取内镜场景的相机本身的参数，M为目标帧视图t到源帧视图s的相对姿态，pk为目标帧视图t关键点p的像素坐标，为所述目标帧支持域的深

度图；

根据,得到所述源帧到所述目标帧的支持域合成帧

;其中，·为翘曲度计算操作；

得到所述光度损失L;其中，I(p)为所述目标帧视图t的关键点，φ(I(p),IS(p))为合成帧光度损失；

根据所述目标帧，得到交叉教学一致性损失以及自主教学一致性损失，根据所述目标帧，得到交叉教学一致性损失以及自主教学一致性损失，具体包括：

根据,得到交叉教学一致性损失L.;其中，D(p)为所述目标帧的深度图，D(p)为可丢弃深度估计网络的深度图；

根据(p),得到自主教学一致性损失Ls;其中，R(p)为随机掩码确定的随机掩码确定的未遮挡掩码，D(p)为外观模拟器导出的帧与原始帧一致性变换后的特征映射；

通过所述光度损失、所述交叉教学一致性损失、所述自主教学一致性损失以及预设边缘感知平滑性损失，得到总优化损失，根据所述光度损失、所述交叉教学一致性损失、所述自主教学一致性损失以及预设边缘感知平滑性损失，得到总优化损失，具体包括：

根据Les=|VD(p)|*e-7I1(P)I,得到所述预设边缘感知平滑性