基于深度学习的人脸分析研究进展（综述）-doi10.6043j.doc

doi: 10.6043/j.issn.0438-0479.201609024 基于深度学习的人脸分析研究进展 严 严，陈日伟，王菡子* (厦门大学 信息科学与技术学院福建省智慧城市感知与计算重点实验室福建 厦门 361005) 摘要：近年来，基于深度学习的人脸分析取得了巨大的进步，成为计算机视觉领域最为活跃的研究方向之一。为了进一步推动深度学习和人脸分析的研究，结合近年已发表相关文献，对基于深度学习的人脸分析技术进行综述。首先，简要概述深度学习及其发展历史，并分析深度学习有效性原因。然后，按照任务目的的不同，将人脸分析分成了人脸检测、人脸关键点检测、人脸识别、人脸属性识别等任务进行详细的介绍和讨论，重点分析各种任务现阶段存在的主要问题。接着，介绍人脸分析常用人脸数据库。最后，讨论深度学习和人脸分析面临的主要挑战，并给出结论。 关键词：深度学习；卷积神经网络；人脸数据库人脸识别；人脸分析； 中图分类号：TP 391 文献标识码：A 文章编号： 计算机视觉（computer vision）是一门研究如何利用计算机模拟人类视觉的科学，其主要任务是通过对采集到的图像（或视频）进行分析和理解，从而做出判断或决策。在过去几十年间，计算机视觉取得了巨大的进步和发展。这其中，人脸分析由于其重要的理论意义和巨大的实际应用价值，一直以来都是计算机视觉领域的热点研究方向。人脸分析通过自动检测（或跟踪）图像（或视频）中的人脸，进而对检测和跟踪到的人脸提取相关信息，比如身份、表情、年龄、性别等。 如何从图像（或视频）中获取有效的人脸表征（representation）一直以来都是人脸分析的一个核心问题。各种有效的特征，如局部二值模式（local binary pattern, LBP）特征[1]、尺度不变特征变换（scale invariant feature transform, SIFT）特征[2]、梯度方向直方图（histograms of oriented gradients, HOG）特征[3]等，被人为构建出来进行人脸的表征，并结合各种降维和分类方法[4-6]进行人脸分析，取得了较好的性能。然而，这些人为设计的特征通常无法捕获不同任务的高层语义信息，成为制约人脸分析性能进一步提高的瓶颈。此外，传统的人脸分析方法通常将任务分解为两个独立的步骤（即特征提取和分类器设计）。而在第一个步骤中所挑选的特征可能无法跟第二个步骤中的分类算法很好匹配，从而造成人脸分析方法性能的下降。 作为近年来一种流行的机器学习方法，深度学习（deep learning）[7-12]已经在计算机视觉、语音识别、自然语言处理等领域中得到了广泛的研究和应用。目前，针对人脸分析的研究，基于深度学习的方法已经成为主流研究方向。相比于传统的人脸分析方法，基于深度学习的方法能够自动地从海量数据中学习人脸表征。同时，该类方法把特征提取和分类器设计统一在一个框架下，能够快速地适应不同的人脸分析任务，有效提高了方法的性能。 国内外众多的大学和研究机构，都对基于深度学习的人脸分析进行了广泛而深入的研究。早期的深度学习算法（即早期的神经网络算法）主要应用于人脸检测[13,14]、人脸识别[15]等任务。而目前的深度学习算法，不仅仅应用于人脸检测和人脸识别，在各种人脸分析任务中，如人脸关键点检测[16,17]、人脸属性分析[18,19]、人脸重构[20]等也得到更为广泛的应用。 目前现有的综述文献主要针对深度学习技术[7-12]或者针对人脸分析某一类具体任务（如人脸检测[4]、人脸识别[5,6]等），因此有必要对基于深度学习的人脸分析研究现状进行分析和总结，期望能够更好地指导未来的研究工作。本文将简要介绍深度学习的发展历史，并分析其有效性原因，重点评述基于深度学习的人脸分析研究新进展常用人脸数据库和面临的主要挑战，最后给出结论。 1 深度学习 本节主要介绍深度学习的概述发展历史以及分析深度学习有效性原因。 1.1 深度学习概述 通常认为，深度学习是指具有多层非线性转换函数的网络结构[9]。而深度神经网络（deep neural network, DNN）是一种特殊的深度学习模型，也是目前大多数深度学习方法的主要实现手段，其通过学习深层的非线性神经网络结构，实现任意复杂函数的逼近。为了从大规模数据中建立有效模型，深度神经网络自动学习多层信息表示，高层的特征利用低层的特征进行构建，并且以一种级联的方式逐层构成深度结构（其中每一级特征代表不同的抽象层次）。因此，深度神经网络能够自动学习从底层特征到高层特征的组合，从而有效减少对人工提取特征的依赖。由于深度神经网络强大的特征提取能力，使得分类和回归等任务变得更加容易。 1.2 深度学习发