基于深度神经网络的人脸引导填充研究.pdf

摘要

近年来，深度学习技术的飞速发展与广泛利用使得其在计算机视觉领域取

得了极大的成功。基于卷积神经网络的图像填充复原技术是当前图像视觉领域

的一个热点话题并取得了许多优异成果。作为研究热点之一，图像填充复原具

有广泛的应用场景，例如修复缺失的照片、去除头戴设备如眼镜以及去除风景

照片中的杂物等。现有的人脸图像填充算法由于人脸纹理复杂等原因，在人脸

清晰度和真实性上仍有欠缺。

针对上述问题，以恢复出更为真实、清晰的人脸五官为目标，本文提出了

一种基于引导图的人脸填充算法。为更有效的利用引导图，本文首先提出大面

积遮挡的人脸关键点检测算法。此关键点检测算法使用多层卷积神经网络，分

别提取引导图和遮挡人脸图像的特征信息，并使用空间形变网络，将引导图的

特征作类仿射变换。实验结果表明，引导图的利用能为遮挡人脸关键点检测提

供有力的引导信息，算法能够准确定位具有大面积遮挡的人脸图像的68个关

键点位置。以遮挡人脸的关键点为目标坐标，以清晰引导图的关键点为源坐标，

利用移动最小二乘平移算法将引导图形变至与遮挡人脸具有相同姿态的形变

引导图。实验结果显示，形变后的引导图由于与遮挡图在人脸部位具有相似的

姿态，能为网络提供更具有参考意义的引导信息，使得填充的人物更真实，该

人物的五官特征得以保持。除此之外，本文在生成对抗网络的基础上，提出了

全新的基于全局和多个局部细节的判别网络。多个局部判别网络的提出使得算

法更加关注人脸五官的细节信息。我们在CASIA-WebFace数据集上的验证结

果表明，多个判别网络的使用能填充复原出更为清晰、自然的效果。同时与之

前的研究对比表明，我们的提出的模型在正面的人脸填充上具有很可观的清晰

度与人物相似度，在人物侧脸这种比较大的难度下，也能取得有意义的填充效

果。

关键词：人脸填充；引导图；人脸关键点检测；局部判别网络

Abstract

Inrecentyears,deeplearninghasachievedagreatsuccessinthefieldof

computerversionduetotherapiddevelopmentandextensiveapplications.Image

restorationbasedonconvolutionalneuralnetworkbecomesahottopicinCV

communityandmanyexcellentresultshavebeenachieved.Asoneoftheresearch

hotspots,imagerestorationhaswideapplicationscenariosincludingrestoring

fragmentaryphotos,removingheaddevicessuchasglasses,andremovingdebris

fromscenicphotos.However,existingfacialimagecompletionalgorithmresults

stilllackfinefacialdetailsduetothelargeocclusionsandcomplexfacialtexture.

Inordertosolvetheaboveproblems,weproposedabrandnewreferenceimage

guidedalgorithmwhichrestoresmorevividfacialfeatures.Wefirstlyimplement

theOccludedfaciallandmarkdetectionalgorithmformakingbetteruseofthe

mentionedguidanceimage.Thelandmarkdetectionalgorithmusesthemulti-layer

convolutionneuralnetworktoextractthef