基于生成对抗网络及神经风格迁移的人脸修复技术.pdfVIP

摘要

基于生成对抗网络及神经风格迁移的人脸修复技术

人脸是人类向外界传达信息的最重要的渠道之一，其所表达的信息相对其它

渠道具有更加突出的鲜活性、丰富性以及特殊性，人脸图像的算法研究是目前计

算机视觉领域中热门的研究主题之一。人脸有关算法也拥有非常广泛的应用前景，

在社交、娱乐、安防、医疗等诸多领域都具备很强的实用性，当下的各种娱乐社

交app中都可以看到人脸有关算法的应用。而随着互联网的发展以及人脸算法的

普遍应用，人脸图像质量的好坏越来越被重视，特别是破损的人脸图像成为各行

业面临的重要问题。人脸含有丰富的信息，而破损的人脸会导致信息的缺失，给

信息的利用带来巨大的困扰，但是实际应用中破损的人脸又占到相当大的比例，

丢弃会产生信息浪费并对算法推广造成阻碍。例如在当前疫情条件下，各种人脸

检测及识别算法均面临着戴口罩的问题，而口罩则会对脸部造成遮挡从而导致面

部信息的缺失。因此对破损人脸图像进行修复便成为高效智能解决问题的重要途

径。

传统图像修复算法的分类有很多，可以概括为以下几类：基于纹理合成的图

像修复，基于示例和搜索的图像修复，基于PDE（部分微分方程）的修复，快速

半自动修复和混合修复等等。但是这些方法均存在着不能大范围精细的修复人脸

的缺点，相比之下深度学习的方法能够整合全局信息，因此本文采用的是深度学

习的方法。目前，在机器视觉领域，深度学习在各方面几乎都比传统方法更有优

势。具体到人脸修复方面，现有的深度生成对抗模型在进行人脸修复时各有侧重

点，但是在人脸独有的主观风格，并没有针对性的复原，导致修复后的人脸区域

和原有的区域不协调。针对该问题，本文借鉴了神经风格迁移算法，结合生成对

抗模型的强大学习拟合能力，提出了一种新的人脸修复算法GNST-Net。该算法

的主要内容如下：

（1）在经典生成对抗网络的基础上添加风格对抗。主要是在对抗损失中除

了内容损失外再引入风格损失，此外为了不引入过多的计算量，风格损失由内容

对抗网络进行变化表征。另外在生成图像上添加边缘梯度损失，使得生成图像在

破损边缘更加连贯。实验表明，本方法可以进一步提升修复后人脸图像与原图像

的整体相似度。

（2）传统的基于生成对抗网络的人脸修复模型大都使用单一对抗网络判断

人脸图像的真伪，这使得判别器网络需要花费部分算力找到破损区域，使得训练

缓慢。本文算法在全局判别器网络之外，又引入局部判别器网络，学习局部缺损

区域的特征，并抑制均方误差对破损区域差别的稀释性。

（3）借鉴变分自编码器，本文算法在生成器网络中引入特定均值和方差的

随机向量，使得生成器网络在修复破损区域时得到图片本身不具备的信息，丰富

生成图像的细节。

关键词：

人脸修复，生成对抗，风格损失，双判别器，变分编码

Abstract

FacerestorationtechnologybasedonGANsandneuralstyletransfer

Humanfaceisoneofthemostimportantchannelsforhumanstoconvey

informationtotheoutsideworld.Comparedwithotherchannels,theinformation

expressedhasmoreoutstandingfreshness,richnessandparticularity.Thealgorithm

researchoffaceimageisoneofthehotresearchtopicsinthefieldofcomputervision

currently.Face-relatedalgorithmsalsohaveverybroadapplicationprospects,andhave

strongpracticalskillssuchassocial,entertainment,security,medicalcare,etc.The

applicationsofface-relatedalgorithms