基于深度特征融合野外面部表情识别方法研究.pdfVIP

基于丰富深度特征的野外面部表情识别AbubakrelsedikKarali,AhmadBassiouny和MotazEl-Saban

微软先进技术，微软技术和研究，开罗，埃及t

1

对比之下，本文基于使用深度卷积神经网络(CNNs)[5]提取

的丰富深度特征。CNNs已成为尝试解决各种视觉问题

面部表情识别是计算机视觉中一个活跃的研究领域，具有广

的常用步骤[6]，通过基于大量现成图像池学习的特征，取代

泛的应用范围。已有多种方法被提出以解决不同基准数据集

了针对特定问题的手工设计特征。在[6]CNNs取得了与当

下的该问题。然而，野外的面部表情识别仍然是一个需要大

前最先进的方法非常接近的结果，并已成功应用于场景分类

量工作的领域，以满足现实世界的应用需求。为此，本文提

[8]和物体识别[9]。

出了一种新的面部表情识别方法。我们通过编码具有判别性

的面部区域，将丰富的深度特征与领域知识融合。我们在两在开发面部表情识别系统中，一个关键的方面是用于测

个最受欢迎的基准数据集CK和TFE上进行了实验。此外，我试系统的数据库。文献中常用的数据库，如CK+[10]TFEID

们还提出了一个新的数据集，与以往数据集不同的是，它包[11]和MMI[12],，都是通过演员的，每个演员在室内实

含的是自然的而为摆拍的表情图像。实验结果表明，我验环境中完成各种动作。然而，这些数据集的表演性质决定

们的方法在基准数据集和我们自己的数据集上均达到了了它们仅能代表自然日常行为的一个子集。本文中，除了以

最先进的识别效果。数据集作为基线来衡量我们的性能外，我们还了一

个新颖的数据集，该数据集包含从必应图像搜索引擎收集的

索引术语—面部表情识别，深度神经网络特征自然表情图像，并已公开：自然场景中的面部表情。总

结来说，本出了如下贡献：(i)开发了当前面部表情

识别技术水平的丰富深度特征；(ii)通过从判别面部区域提取

2.引言深度特征，利用领域知识；(iii)提出了一个新颖的数据集，

作为计算机视觉的一个分支，面部表情的自动识别由于其在用于处理自然表情图像，旨在推动面部表情研究趋势向更真

人机交互、社会分析、医疗治疗和智能机器人系统等领域的广实场景的研究发展。本文结构如下：第2节介绍相关工作；第

泛应用而受到越来越多的关注。在相关研究中，每种面部动作3节描述我们的方法；第4节和第5节分别描述了我们使用的数

都可以通过两种主要策略进行参数化：面部动作编码系统据集和进行的实验；最后，第6节给出我们的结论和对未来工

（FACS）[1]和面部动画参数