CN118052706B 融合交互注意力机制的任意风格迁移方法和装置 （成都信息工程大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118052706B(45)授权公告日2025.07.08

(21)申请号202410397562.8

(22)申请日2024.04.03

(65)同一申请的已公布的文献号申请公布号CN118052706A

(43)申请公布日2024.05.17

(73)专利权人成都信息工程大学

地址610200四川省成都市西南航空港经

济开发区学府路1段24号

(72)发明人李孝杰郑鑫源吴锡史沧红

黄占鳌赵学敏靳志恒杨善敏

吕建成

(51)Int.CI.

GO6T3/04(2024.01)

GO6V10/80(2022.01)GO6V10/774(2022.01)GO6V10/82(2022.01)GO6V10/764(2022.01)

(56)对比文件

CN114170066A,2022.03.11

审查员邓迪

(74)专利代理机构成都智涌知识产权代理事务

所(普通合伙)51313专利代理师周正辉

权利要求书2页说明书11页附图5页

(54)发明名称

融合交互注意力机制的任意风格迁移方法

和装置

(57)摘要

CN118052706B发明提出融合交互注意力机制的任意风格迁移方法和装置，构建的迁移网络主要包括：基于Transformer编码器和可逆神经网络的联合特征编码模块、融合通道和空间的交互注意力的风格转换模块和空间感知插值模块，首先利用联合特征编码器中的Transformer编码器提取内容图像和风格图像的全局特征，利用可逆神经网络提取内容图像和风格图像的细节特征，然后将内容图像和风格图像的全局和细节的特征分别送进通道和空间的交互注意力中进行融合，得到全局风格化的特征和细节风格化特征；最后，使用空间感知插值模块进行自适应插值融合。本发明方法捕捉序列数据中的长距离依赖关系和局部模

CN118052706B

全局分支

风格图像

解玛器

解玛器

De

CN118052706B权利要求书1/2页

2

1.基于交互注意力机制的任意风格迁移方法，其特征在于，所述风格迁移方法具体包

括：

步骤1:准备数据集；

步骤2:对数据集进行预处理；

步骤3:构建并初始化风格迁移网络，所述风格迁移网络包括联合特征编码器、风格转换模块、空间感知插值模块、解码器和判别器；

步骤4:将步骤2处理后的训练数据输入风格迁移网络中，对网络进行训练，具体包括：

步骤41:将训练集中的内容图像Ic和风格图像I分别传入联合特征编码器中提取特征信息，Ic经过联合特征编码器中的Transformer编码器和可逆神经网络后分别得到全局内容特征Tc和细节内容特征Dc,I经过联合特征编码器中的Transformer编码器和可逆神经网络后分别得到全局风格特征Ts和细节风格特征Ds;

步骤42:将步骤41提取的特征输入到所述风格转换模块，具体的，将Tc和Ts送入风格转换模块的第一分支，得到全局风格化特征Tcs,将D和D送入风格转换模块的第二分支，得到细节风格化特征Dcs;

第一分支的处理过程包括：

步骤421:首先，将T和T输入通道空间注意力模块进行处理，使用三个1×1的卷积对输入的特征进行调整，其中一个卷积对T进行处理得到特征图Q,另外两个卷积对Ts进行处理得到特征图K和特征图V,然后将Q与K相乘得到了内容和风格之间的语义关系图，然后使用Softmax激活函数将其进行映射，随后将其与V相乘得到加权后的风格特征M;

步骤422:利用3×3的卷积对Tc进行处理得到特征图T*c,将M与T*c输入通道空间交互模块进行融合，先使用通道注意力对T*进行处理得到通道注意力系数CA,然后使用空间注意力对M进行处理得到空间注意力系数SA,随后将CA与M相乘，在通道维度上动态调整其特征，将SA与T*c相乘，在空间维度动态调整特征，最后将调整后的M与调整后的T?c相加得到内容特征Es;

步骤423:然后，将Ec和Ts输入空间通道注意力模块，用与步骤421相同的做法得到加权后的风格特征M2;

步骤424:利用3×3的卷积对Ec进行处理得到特征图Tcs,将M2与T*s通过空间通道交互模块进行融合，先使用通道注意力对M2进行处理得到CA,然后使用空间注意力对Ts进行处理得到SA,随