基于生成对抗网络的异质人脸生成技术研究.pdfVIP

摘要

在数字娱乐和公共安全领域中，异质人脸合成起着愈发重要的作用。异质人脸

指的是拥有不同形态的人脸图像，包括素描人脸画像、漫画人脸图像、可见光人脸

图像、近红外光人脸图像等。而异质人脸合成旨在将人脸图像转换为满足实际需求

的不同形态图像。但之前的异质人脸合成方法大多以有监督的方式进行，同时存在

合成图像质量不高的问题。故本文针对合成任务中的问题以最常见的素描-可见光

照片两种形态的人脸图像合成任务为例，构建基于GAN的素描真实化为照片的合

成模型和可见光照片素描风格化的合成模型。本文的具体工作如下：

第一，针对目前人脸素描真实化为照片方法合成的人脸图像存在面部细节缺

失、真实感不足、存在伪影的问题，提出一个基于无监督方式将人脸素描图像合成

为照片的模型。首先利用多尺度特征提取模块提取源域图像中更加丰富的语义信

息。其次，在生成器中嵌入卷积注意力模块来增强模型提取重要特征信息的能力，

提高合成图像质量且减少因图像背景干扰带来的伪影。此外，为了使生成的人脸图

像保留更多关键细节，设计面部细节特征损失应用到模型中来约束局部细节的生

成。在CUFS和CUFSF公共数据集上的定性实验结果表明，该模型合成的人脸细

节和边缘结构更清晰、更真实。同时，定量实验中结构相似度和峰值信噪比等性能

指标也较其他方法有明显提高。

第二，在数字娱乐领域，照片素描化同样有着极大的应用前景。针对传统素描

人脸合成方法合成的素描图像存在纹理粗糙、不够细腻等问题，提出一种结合

DenseNet的生成对抗网络人脸素描合成方法。首先，采用残差密集网络作为网络

的主体结构，使提取到的特征信息得到充分利用。其次，采用更具鲁棒性的

Charbonnier函数作为像素循环一致性损失函数，优化处理网络深处的异常值且减

少训练时间。引用Tv损失进一步去除合成素描图像中边缘存在的粗糙纹理。同时

优化训练过程中的判别器结构，结合空洞卷积增大判别器的视野，提高其判别能力。

在CUFS和CUFSF公共数据集上定性与定量的实验结果表明，通过此方法可以得

到更加真实细腻的素描人脸合成图像。

关键词：异质人脸合成；生成对抗网络；素描人脸合成；注意力机制；深度学习

Abstract

Inthefieldofdigitalentertainmentandpublicsecurity,thesynthesisof

heterogeneousfacesplaysanincreasinglyimportantrole.Heterogeneousfacerefersto

thefaceimagewithdifferentforms,includingsketchfaceportrait,cartoonfaceimage,

visiblefaceimage,nearinfraredlightfaceimage,etc.Heterogeneousfacesynthesisaims

attransformingfaceimagesintodifferentmorphologiestomeettheactualneeds.

However,mostofthepreviousmethodsofheterogeneousfacesynthesisarecarriedout

inasupervisedway,andthequalityofthesynthesizedimageisnothigh.Therefore,

aimingattheproblemsinthesynthesistask,thisthesistakesthemostcommonfaceimage

synthesistaskofsketchandvisiblelightphotoasanexample,andconstructsasynthesis

modelofsketchrealistictophotoandasynthesismodelofvisiblelightphotosketch

stylizationbasedonGA