融合多注意力机制的语义调整风格迁移网络.pdfVIP

2042025，61（8）ComputerEngineeringandApplications计算机工程与应用

融合多注意力机制的语义调整风格迁移网络

11，2+11

张彩灯，徐杨，莫寒，冯明文

1.贵州大学大数据与信息工程学院，贵阳550025

2.贵阳铝镁设计研究院有限公司，贵阳550009

+通信作者E-mail：xuy@gzu.edu.cn

摘要：风格迁移是一种计算机视觉技术，旨在将一幅图像的风格迁移到另一幅图像上，从而创造出拥有新风格的

图像。但当前任意风格迁移网络中还存在一些问题，如融合后的风格化图像语义不清晰以及整体风格不一致等。

为了解决这些问题，提出了一种新的多注意力风格迁移网络MatST。该网络结合了语义调整的方法，通过引入一系

列注意力机制来改进风格迁移的效果。提出了RCCAB模块，通过结合交叉卷积和通道注意力机制，解决图像定位

和细节表示的问题。结合窗口自注意力、重叠交叉窗口注意力OCAB和多头注意力块MHAB，设计了多注意力模块

MAB作为Transformer编码器的子层。MAB模块从多个维度提取图像特征，解决图像网格化和风格化不细致的问

题。设计了风格化图像语义调整器，通过反馈传播的方式来调整风格化图像的语义信息，生成语义清晰且更符合人

眼感知的风格化图像。实验结果表明，相对于StyTr2网络，MatST网络在COCO数据集上内容损失降低0.1725，同

时风格损失减少0.0757。经实验验证，该网络在获得较好风格化图像的同时，能够保留清晰的内容语义，具有良好

的任意风格迁移效果。

关键词：风格迁移；语义调整；注意力机制；交叉卷积

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2311-0047

SemanticAdjustedStyleTransferNetworkwithMulti-AttentionMechanisms

11，2+11

ZHANGCaideng,XUYang,MOHan,FENGMingwen

1.CollegeofBigDataandInformationEngineering,GuizhouUniversity,Guiyang550025,China

2.GuiyangAluminum-MagnesiumDesignandResearchInstituteCo.,Ltd.,Guiyang550009,China

Abstract：Styletransferisacomputervisiontechniqueaimedattransferringthestyleofoneimagetoanother,thereby

creatinganimagewithanewstyle.However,currentarbitrarystyletransfernetworksstillsufferfromsomeissues,such

asunclearsemanticfusioninstylizedimagesandoverallinconsistencyinstyle.Toaddresstheseproblems,thispaper

proposesanewmulti-attentionstyletransfernetwork,MatST.Thisnetworkintegratessemanticadjustmentmethodsand

improvesstyletransferbyintroducingaseriesofattentionmechanisms.Firstly,theRCCABmoduleisproposedto

addresstheissuesofimagelocalizationanddetailrepresentationbycombiningcrossconvolutionandchannelattention

mechanisms.Secondly,by