CN114693952B 一种基于多模态差异性融合网络的rgb-d显著性目标检测方法 （安徽理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114693952B(45)授权公告日2025.07.01

(21)申请号202210308520.3

(22)申请日2022.03.24

(65)同一申请的已公布的文献号申请公布号CN114693952A

(43)申请公布日2022.07.01

(73)专利权人安徽理工大学

地址232001安徽省淮南市山南新区泰丰

大街168号

GO6V10/80(2022.01)

GO6V10/82(2022.01)GO6V10/774(2022.01)G06N3/048(2023.01)

(56)对比文件

CN113076957A,2021.07.06CN114170174A,2022.03.11审查员王宛生

(72)发明人夏晨星段松松黄荣梅孙延光段秀真王晶晶

(51)Int.CI.

GO6V10/46(2022.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/084(2023.01)

权利要求书2页说明书7页附图3页

(54)发明名称

一种基于多模态差异性融合网络的RGB-D显著性目标检测方法

(57)摘要

CN114693952B本发明提供一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，属于图像显著性检测技术，所述方法利用SwinTransformer提取包含全局上下文信息的RGB和Depth特征，用于给出场景的显著性目标推理。本发明主要通过探索RGB和Depth模态之间的差异性分析显著性在这两个模态的联系和区别，并设计一个差异性融合网络融合跨模态特征用于捕获完整的显著目标。本发明包括以下几个步骤：(1)采用SwinTransformer提取跨模态特征；(2)使用双向融合方式融合RGB和Depth特征生成

CN114693952B

(4)利用该差异性融合跨模态特征；(5)使用目级联聚合解码器对融合的跨模态特征进行显著性的推理和解码，生成预测的显著性图。

RCOHfano。

CN114693952B权利要求书1/2页

2

1.一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，其特征在于，该方法包含以下步骤：

1)利用深度学习中的SwinTransformer网络作为RGB和Depth编码器用于提取RGB和Depth图像的层次化视觉特征，其中，SwinTransformer编码器由四个基本的SwinTransformerblock组成，其定义如下所示：

S=MLP(LN(W(LN(F?))+F?))+W(LN(F?))+F公式(1)

ST=MLP(LN(W(LN(S))+S))+W(LN(S))+S,公式(2)

其中，MLP表示多层感知机，LN表示层次化归一，w.代表多头自注意力机制，w表示基于转换窗口自注意力机制；RGB和Depth编码器的输出，分别记作，RGB特征

2)跨模态双向融合模块用于初步融合跨模态的特征，为下一阶段的三流差异性监督机制做好准备；

3)构建三流差异性监督机制用于实现多模态之间的差异性融合，表示为三个分支，分别表示为RGB分支，Depth分支，和Fusion分支：

3.1)构建三流差异性监督机制中的RGB分支，并采用级联聚合解码器预测显著性图；在RGB特征输入到CAD之前，利用ASPP技术强化RGB特征的感受野，增强RGB特征的全局信息，并使用显著目标分割图Sc进行监督学习，RGB分支的操作描述如下所示：

公式(3)

其中，CAD表示级联聚合解码器，A表示ASPP技术，表示RGB分支预测出的显著性图；

3.2)采用级联聚合解码器预测显著性图，在Depth特征输入到级联聚合解码器之前，利用ASPP技术强化Depth特征的感受野，增强Depth特征的全局信息，并使用显著目标分割图

Sc-进行监督学习，Depth分支的操作描述如下所示：

公式(4)

其中，CAD表示级联聚合解码器，A表示ASPP技术，表示RGB分支预测出的显著性

图；

3.3)基于步骤2.2所生成的跨模态融合特征,使用获取到的