CN113988289B 基于对抗训练鲁棒的内容-风格解耦模型训练方法及系统 （上海交通大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113988289B(45)授权公告日2025.07.11

(21)申请号202111222355.1

(22)申请日2021.10.20

(65)同一申请的已公布的文献号申请公布号CN113988289A

(43)申请公布日2022.01.28

(73)专利权人上海交通大学

地址200240上海市闵行区东川路800号

(72)发明人骆源王晰

(74)专利代理机构上海段和段律师事务所

31334

专利代理师李佳俊郭国中

(51)Int.CI.

GO6N3/094(2023.01)

GO6N3/0455(2023.01)

GO6V10/774(2022.01)

GO6V10/82(2022.01)

(56)对比文件

CN110263865A,2019.09.20

CN112035834A,2020.12.04

审查员刘晓露

权利要求书3页说明书8页附图4页

(54)发明名称

基于对抗训练鲁棒的内容-风格解耦模型训练方法及系统

(57)摘要

CN113988289B本发明提供了一种基于对抗训练鲁棒的内容-风格解耦模型训练方法及系统，包括：采用风格-内容解耦方法来训练模型的解耦能力，采用对抗训练的方法增强模型的鲁棒性；所述内容-风格解耦模型包含风格编码器Es,内容编码器Ec以及解码器；所述风格-内容解耦方法：让风格编码器只提取图片风格，让内容编码器只提取图片内容；所述对抗训练方法：使用对抗样本来训练模型，以增加模型的鲁棒性。本发明提供的方法

CN113988289B

缩码器

缩码器

内容编码器

鲁棒解耦训练

一·→对抗样本

CN113988289B权利要求书1/3页

2

1.一种基于对抗训练鲁棒的内容-风格解耦模型训练方法，其特征在于，包括：采用风格-内容解耦方法来训练模型的解耦能力，采用对抗训练的方法增强模型的鲁棒性；

所述内容-风格解耦模型包含风格编码器Es,内容编码器Ec以及解码器；

所述风格-内容解耦方法：让风格编码器只提取图片风格，让内容编码器只提取图片内容；

所述对抗训练方法：使用对抗样本来训练模型，以增加模型的鲁棒性；

所述训练方法具体包括以下步骤：

步骤S1:预训练每一类的风格Embedding值和每一张图片的内容Embedding值；

步骤S2:从训练数据集中随机采样出一些图片；

步骤S3:对采样出的每一张图片生成对抗样本；

步骤S4:使用对抗样本和原图片样本计算模型的解耦损失和重建损失函数值L;

步骤S5:使用总的损失函数值L来进行梯度下降更新模型参数值Θ,所述模型参数值⊙为神经网络模型中的卷积层，全连接层中的神经元权重值；

步骤S6:重复步骤S2-步骤S5,直到总的损失函数值L收敛，得到鲁棒的内容-风格解耦

模型。

2.根据权利要求1所述的基于对抗训练鲁棒的内容-风格解耦模型训练方法，其特征在于：所述步骤S2包括：

步骤S1.1:随机采样一个Batch的原始图片；

步骤S1.2:对一个Batch的图片，计算如下的Loss函数值：

其中x;是原始图片，i表示一个Batch中第i个图片，s是x;所在类别的风格Embedding,c?是x;的内容Embedding,G?是解耦模型中的解码器，0是解码器的网络参数值，β是超参数；

步骤S1.3:根据步骤S1.2中的Loss函数值，对si,c,G?进行梯度下降更新：

式中，η是学习率；

步骤S1.4:重复步骤S1.1-步骤S1.3,直到损失值L,收敛。

3.根据权利要求1所述的基于对抗训练鲁棒的内容-风格解耦模型训练方法，其特征在于：所述步骤S3包括：

步骤S3.1:对原始图片添加随机扰动，x′=x+∈·ξ,其中x′表示添加扰动后的图片，x;表示原始图片，∈表示扰动的范围，是一个[-1,1]区间的均匀分布随机变量；

步骤S3.2:计算模型的损失函数值，损失函数设计为：1ad=IIEs(x?)-Es(x:)l+IIEc(x,)-Ec(x:),其中Es和Ec分别代表风格编码器和内容编码器；

CN113988289B权利要求书