CN112419325B 一种基于深度学习的超像素分割方法 （北京工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112419325B(45)授权公告日2025.01.10

(21)申请号202011360361.9

(22)申请日2020.11.27

(65)同一申请的已公布的文献号申请公布号CN112419325A

(43)申请公布日2021.02.26

(73)专利权人北京工业大学

地址100124北京市朝阳区平乐园100号

(72)发明人马伟李鹏

(74)专利代理机构北京思海天达知识产权代理有限公司11203

专利代理师张慧

(51)Int.CI.

GO6T7/10(2017.01)

(56)对比文件

CN110930408A,2020.03.27

KR102176139B1,2020.11.09

审查员马小瑜

权利要求书1页说明书6页附图6页

(54)发明名称

一种基于深度学习的超像素分割方法

(57)摘要

CN112419325B本发明公开了一种基于深度学习的超像素分割方法，具体包括针对编码器部分的网络过参数化、网络剪枝和解码器部分的TDT(Top-down-top)解码结构，本发明基于深度学习并具备端到端学习能力，具备与其他视觉任务更充分的融合能力，进而可以促进其它视觉任务的快速发展。该发明的方法步骤大体分为三个阶段：网络搜索策略中的网络过参数化阶段；网络搜索策略中的网络剪枝阶段；网络解码能力强化并重新训练阶段。本发明在编码器特征提取过程中的边界捕捉能力和解码器超像素分割过程中的结构保留能力均有提升，能有效减少错分割现象的出现，同时其在网络过参数化、网络剪枝和TPT解码器结

CN112419325B

网络初始化

网络初始化

网络过参数化

网络剪枝

网络解码器强化

网络模型训练

网络超像素分割推理

CN112419325B权利要求书1/1页

2

1.一种基于深度学习的超像素分割方法，其特征在于包含以下步骤：

S1:网络模型初始化：首先选用U型编解码网络结构作为初始网络，所述的U型编解码网络结构由编码器和解码器两部分构成，并且在编码器和解码器相同尺度位置处包括跨层连

接；

S2:网络模型过参数化：设计多分支特征提取模块，对初始网络编码器中任意层数的特征提取层进行替换，实现网络模型过参数化；其中，所述的多分支特征提取模块为并行的多分支结构，该模块的输入与输出不要求为相同尺寸，其中不同分支由不同结构的卷积神经网络构成，每一分支的输入彼此相同，每一分支的输出尺寸彼此相同，并且每一分支具备一个初始化的可学习权重，不同分支的输出通过各自分支的可学习权重进行逐元素相加，后接批归一化和激活函数，进而构成并行的多分支特征提取结构；

S3:网络剪枝：对通过利用多分支特征提取模块替换初始网络编码器中任意层数的特征提取层得到的过参数化网络进行训练，至损失函数曲线趋于平缓时停止训练，利用网络剪枝策略对训练完成的网络模型完成过参数化网络剪枝，得到针对超像素分割任务的编码器；其中，所述的网络剪枝策略为针对多分支特征提取模块中的每一分支，当该分支训练得到的对应的可学习权重小于设定的阈值时，剪去该分支，反之保留该分支，当所有分支权重均小于阈值时，仅保留权值最大的分支；

S4:在网络剪枝之后的解码器结构上添加跨层特征融合，实现由上至下，再由下至上的解码结构，其强化后的解码器简称为TDT(Top-down-top)解码器；所述的跨层特征融合位于U型编解码网络由上至下解码阶段之后，用于实现由微至广的跨尺度特征融合，进而提升原尺度特征图质量，其跨尺度特征融合过程为由下至上的解码结构；所述的跨尺度特征融合具体操作为：在U型编解码网络原有框架下，将解码器前端大感受野下的任意一层的输出特征进行上采样后，与解码器后端原尺度网络层的输出特征进行拼接并后接卷积操作，实现两层间跨尺度的信息融合，实现网络解码强化，并后接卷积和Softmax激活函数，进而实现基于概率形式的超像素分割结果计算；通过串联U型编解码网络由上至下的解码结构和跨尺度特征融合由下至上的解码结构，实现了由上至下，再由下至上的TDT解码器整体解码结构的构建；

S5:对解码强化后的网络进行训练，并利用训练完成的网络对图像进行超像素分割。

2.根据权利要求1所述的一种基于深度学习的超像素分割方法，其特征在于：步骤S3中所述阈值的取值范围为[0.8