CN115359250B 基于记忆力机制的跨域小样本图像语义分割方法 （北京工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115359250B(45)授权公告日2025.07.01

(21)申请号202210707799.2

(22)申请日2022.06.20

(65)同一申请的已公布的文献号申请公布号CN115359250A

(43)申请公布日2022.11.18

(73)专利权人北京工业大学

地址100124北京市朝阳区平乐园100号

(72)发明人段立娟王文健公智乔元华

(74)专利代理机构北京思海天达知识产权代理有限公司11203

专利代理师张慧

GO6V10/74(2022.01)

GO6V10/80(2022.01)

(56)对比文件

Wang,WJ等.RemembertheDifference:Cross-DomainFew-ShotSemantic

SegmentationviaMeta-MemoryTransfer.《2022IEEE/CVFCONFERENCEONCOMPUTERVISIONANDPATTERNRECOGNITION》.2022,7055-7064.

审查员钟海

(51)Int.CI.

GO6V10/26(2022.01)

GO6V20/70(2022.01)

GO6V10/774(2022.01)权利要求书3页说明书8页附图4页

(54)发明名称

基于记忆力机制的跨域小样本图像语义分

割方法

(57)摘要

CN115359250B本发明公开了一种基于记忆力机制的小样本跨域分割方法，该方法不但能够缓解模型对大量标注样本的依赖，还有效提高了模型对不同环境的适应能力。该方法首先在公开数据集上训练分割模型，此过程主要借助元度量机制来缓解模型对数据标签的依赖，并且通过读、写操作将带有域信息的风格化知识存储到记忆模块中。随后在使用模型时，将存储在记忆模块中的知识载入到新环境的待分割样本中，由此提高模型对不同环境的泛化性，最终顺利完成新场景的分割任务。本发明将训练过程中模型捕捉到的域泛化知识载入到样本稀少的新环境任务中，拉近了不同环境间的数据分布，使得深度模型能够有效的面

CN115359250B

CN115359250B权利要求书1/3页

2

1.基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：包括训练和迁移两个阶段，在训练过程中构建彼此类似但不同的大量图像分割任务即元任务供分割模型学习；分割模型在学习过程中不断收集任务之间的知识，并且将这些知识存储到记忆力模块中；完成训练后，将分割模型参数与学习到的记忆力模块固定；在迁移过程中，分割模型将记忆力模块中的知识进行选择性载入；最终利用迁移后的模型进行目标分割；

训练阶段包括：

步骤1:模仿构造大量元任务：

在图像分割数据集上进行有放回的采样，每次采样得到一个元任务，元任务用来模仿未来可能的图像分布，供分割模型学习更加泛化的参数，所述的图像分割数据集是由标注过的图像样本组成；每个元任务同时包括支撑图像集与查询图像集，两个图像集中图像类别相同，支撑图像集由少量图像构成；

步骤2:随机初始化记忆力模块：

记忆力模块由两组向量构成，分别代表元均值与元方差，两组向量配合使用，收集训练过程中分割模型提取的支撑图像集中各个图像的特征分布，记忆力模块用于模仿人类的认知机理，提升分割模型对新场景的适应能力；每个元任务中支撑图像都与记忆力模块交互；

步骤3:存储每个元任务中支撑图像的均值、方差到记忆力模块；

步骤4:使用支撑图像集特征对查询图像集进行匹配，匹配结果供后续计算损失：

对于步骤3得到的每个支撑图像的图像特征，首先使用图像对应的标签对图像特征进行筛选，得到每个支撑图像的原型表达，其中，第b个支撑图像的原型表达如下：

其中T为使用标签Y?筛选出来的前景像素点，|T|为前景像素点总数，f表图像b中t位置像素点特征；

抽取得到的原型对查询图像集进行分割，得到匹配结果，其中，第b个支撑图像的原型对第q个查询图像进行分割的具体方法为：首先将第b个支撑图像的原型p?与第q个查询图像的特征f。进行拼接；随后使用标准1×1卷积R对拼接特