小波域生成对抗网络实现多尺度人脸超分辨率.pdfVIP

计算机视觉国际

‑019‑01154‑8

用于多尺度人脸幻觉的小波域生成对抗网络

·安·谭铁牛

收到日期：/接受日期：©

Science+BusinessMedia,LLC，Nature2019的一部分

大多数现代人脸幻觉方法都采用卷积神经网络（CNN）来推断高分辨率（HR）人脸图像。然而，在处理非常低

分辨率（LR）图像时，这些基于CNN的方法往往会产生过度平滑的输出。为了解决这一，本文提出了一种

小波域生成对抗方法，可以在统一框架中将非常低分辨率（如16×16甚至8×8）的人脸图像超分辨率放大到多个

放大因子的较大版本（×到16×）。与大多数在图像像素域进行人脸幻觉的现有研究不同，我们的方法首先从相

应的LR输入中学习预测HR人脸图像的小波信息，然后再进行图像级超分辨率。为了捕捉人脸的全局拓扑信息和

局部纹理细节，我们设计了一种灵活且可扩展的生成对抗网络，包含三种类型的损失函数：（1）小波重建损失

旨在使生成的小波更接近值；（2）小波对抗损失旨在生成真的小波；（3）保持损失旨在帮助恢复身

份信息。大量实验表明，所方法不仅在定量和定性结果上优于当前最先进的人脸幻觉方法，而且还能显著

提高野外捕获的低分辨率人脸图像的识别准确率。

人脸幻觉·超分辨率·小波变换·生成对抗网络·人脸识别

1引言

人脸幻觉（Facehallucination），也被称为人脸超分辨

率（SR），是指从对应的低分辨率（LR）输入中生成高

分辨率（HR）人脸图像。这对大多数人脸相关应用来说

通讯作者：XiaoouTang。*RanHerhe@

都非常重要，例如人脸识别（Shamir2008;Hayat等

HuaiboHuanghuaibo.huang@Zhenan

12017），在这些应用中，大多数野外捕获的人脸都是低分辨率

Sunznsun@TieniuTan@中

国大学学院，，2自动的，并且缺乏关键的面部细节。这是一个特定领域的单图

化智能感知与计算，，3像超分辨率（SISR）问题，已有许多方法（

自动化模式识别国家重点，，4科Wang和Tang2005;Liu等2007;Yang等2008;Park

学院脑科学与智能技术卓越创新，，和Lee2008;Li等2009;Ma等2010;Jung等2011;

Yang等2013;Wang等2014;Jiang等2014;Zhu等

2016;Yu和Porikli2016,2017a,b;Farrugia和

Guillemot2017;Yang等2017）被提出以解决该问题。

这是一个广为人知的不确定逆问题，即，存在多种对应的

高分辨率结果可以解释给定的低分辨率输入。

近年来，基于深度学习的方法已被引入单图像超