CN115511708B 基于不确定性感知特征传输的深度图超分辨率方法及系统 （武汉大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115511708B(45)授权公告日2025.07.08

(21)申请号202211135383.4

(22)申请日2022.09.19

(65)同一申请的已公布的文献号申请公布号CN115511708A

(43)申请公布日2022.12.23

(73)专利权人武汉大学

地址430072湖北省武汉市武昌区珞珈山

街道八一路299号

(72)发明人叶茫施武轩

(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222

专利代理师许莲英

(51)Int.CI.

GO6T3/4053(2024.01)

GO6T3/4046(2024.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

GO6N3/0985(2023.01)

(56)对比文件

CN107358576A,2017.11.17CN111882485A,2020.11.03

审查员张敏

权利要求书4页说明书10页附图1页

(54)发明名称

基于不确定性感知特征传输的深度图超分辨率方法及系统

(57)摘要

CN115511708B本发明公开了一种基于不确定性感知特征传输的深度图超分辨率方法及系统，通过在特征传输时构建迭代式上下采样的流水线替代现有方法中的前置插值上采样，从而在消除深度图与RGB引导图像之间分辨率差距的同时避免了噪声放大等副作用。本发明提出了一种对称不确定性方案，能够在特征传输过程中对深度特征的不确定性建模。然后利用生成的不确定性图对RGB特征加权从而去除与深度图像纹理不匹配的RGB特征，缓解由于两种图像之间的跨模态差距导致的纹理复制现象。本发明在每次迭代中只向前传播一次就可以对得到不确定性图，减少了计算资源的冗余消耗。同时本发明易于集成到现有的颜色

CN115511708B

CN115511708B权利要求书1/4页

2

1.一种基于不确定性感知特征传输的深度图超分辨率方法，其特征在于，包括以下步

骤：

步骤1:针对输入图，通过基于不确定性感知特征传输网络的RGB分支和Depth分支提取低分辨率深度图像和高分辨率RGB引导图像的特征；

将低分辨率深度图像和高分辨率RGB引导图像的特征都输入到基于不确定性感知特征传输网络的SUFT模块中，所述SUFT模块首先复制并在空间维度中水平翻转输入的深度特征，然后再将这两个水平镜像的深度特征投影到高分辨率域：

其中是从低分辨率深度图中提取的特征，)是通过上采样得到的高分辨率深度特征，是经过翻转的高分辨率深度特征，HFlip(·)和(·)↑分别代表水平翻转操作和缩放因子为s的上投影操作；

所述基于不确定性感知特征传输网络，整体由RGB分支，Depth分支和SUFT模块构成；

所述RGB分支由第一3×3卷积层、第一残差块、第二残差块、第三残差块顺序连接构成，输入高分辨率RGB图像，经过RGB分支，提取高分辨率RGB图像的特征以传入相应的SUFT模块；

所述Depth分支由第二3×3卷积层、第一残差组、第二残差组、第三残差组、第四残差组、上投影单元、第五残差组、第六残差组、第三3×3卷积层组成和双三次线性插值模块组成，输入低分辨率深度图，经过Depth分支，提取低分辨率深度图的特征以传入相应的SUFT模块，最终将网络提取的高分辨率深度图高频成分和经过双三次线性插值模块得到的高分辨率深度图的低频成分逐元素相加，输出重建的高分辨率深度图；

所述第一残差块、第二残差块、第三残差块由两个3×3卷积层和一个修正线性单元层构成；所述第一残差组、第二残差组、第三残差组、第四残差组由八个卷积层、四个修正线性单元层和四个通道注意力模块构成；所述第五残差组、第六残差组由十六个卷积层、八个修正线性单元层和八个通道注意力模块构成；所述上投影单元由两个核大小自适应的卷积层、两个核大小自适应的反卷积层和四个修正线性单元层构成；所述双三次线性插值模块将输入低分辨率深度图上采样得到一个模糊的高分辨率深度图；

步骤2:利用步骤1中获得的两个水平镜像的高分辨率深度特征计算对称不确定性的空间分布，获得不确定性图Mnr;

步骤3:将步骤2中获得的不确定性图Mhr与步骤1中提取的高分辨率RGB引导图像特征

相乘，再与上采样