基于深度学习的人脸表情识别方法研究.pdf

基于深度学习的人脸表情识别方法研究

摘要

人的脸部表情中存在大量能够反映人类内在情感和行为动机的信息。在人

机智能化交互领域，机器如果能够正确辨别这些信息，就可以根据使用者的表

情，动态的调整交互内容，从而实现更加友好的人机交互过程。

目前主流的人脸表情识别算法分为基于传统机器学习的人脸表情算法和基

于深度学习的人脸表情算法。基于传统机器学习的人脸表情算法需要人工提取

特征，消耗大量的时间成本。并且在进行人工特征提取时，经常会丢失一部分

细节信息，影响表情识别的准确率。深度学习实现了端到端的训练学习方式，

不需要人工干预，也能达到理想的效果。因此，本文以基于深度学习的人脸表

情识别模型为对象，针对如何提高人脸表情识别模型的准确率等问题开展研究，

主要研究内容如下：

针对传统卷积神经网络提取特征不充分，网络参数过多以及在训练过程中

样本误标注或噪声干扰引起的网络识别性能下降等问题，采用多尺寸卷积操作

并对焦点损失函数进行优化。使用具有不同尺寸卷积核的卷积层，取代原网络

中单一尺寸的卷积操作，增强网络的特征提取能力。使用全局平均池化层替换

全连接层，减少网络的参数量。对焦点损失函数设置概率阈值，减少噪声数据

对网络训练过程产生的影响。实验结果表明，改进后的网络能够有效降低误标

注和噪声数据在网络训练中产生的干扰，训练和测试过程均保持了很高的稳定

性，同时改进后的网络具有更强的特征提取能力。在JAFFE、CK+和Fer2013

三个公开数据集上的平均识别准确率分别为92.46%、94.78%和90.29%，与其

他方法相比，表情识别准确率更高。

针对非峰值表情图像中关键和微妙的表情细节很难被捕捉，提出了采用通

道注意力机制对网络进行校准的方法，设计一个具有自适应注意力的卷积神经

网络模块，并且对原始输入数据也在通道维度上实现了自适应注意力选择。使

用余弦的指数形式表示损失函数，用来提高表情特征的判别能力。实验结果表

明，所提方法能够更加准确地锁定重要表情特征。在CK+、Oulu-CASIA和

MMI三个数据上的平均识别准确率分别为97.30%、87.83%和72.66%，与其他

方法相比，体现了更好的表情识别性能。

-I-

针对户外环境下表情识别任务中存在的闭塞背景、不同的头部姿势以及其

他复杂的环境因素对表情识别产生的影响，提出了融合高效通道注意力和

Transformer的表情识别方法。引入高效通道注意力模块，调整通道权重捕捉不

同表情特征之间的相关性。设计轻量级视觉Transformer模块减少模型的网络

层数和参数量。将轻量级模块和高效通道注意力模块融合，构建适用于户外环

境下的表情识别任务模型。实验结果表明，高效通道注意力模块能够有效提取

脸部表情的局部特征和全局特征，轻量级视觉Transformer模块能够有效降低

模型的计算成本。在RAF-DB、AffectNet和FerPlus数据集上的平均识别准确

率分别为85.14%、68.09%和92.66%，与其他方法相比，在复杂环境下的表情

识别任务中识别准确率有明显提升。

针对视频表情识别任务中，Transformer架构在处理多帧图片、不同的表情

强度以及表情特征差异方面存在的不足之处，提出了基于Transformer架构改

进的视频表情识别方法。将整个视频中的面部动作分解，生成由几个相邻帧视

频片段组成的小表情片段序列，融合视频片段所产生的特征向量，提高

Transformer对整个视频运动信息的综合编码。引入特征增强注意力模块，增强

人脸表情的语义特征。设计随机平滑片段预测头，提升片段间视觉变化的建模

能力。实验结果表明，所提方法能够提高Transformer对片段内视觉变化和片

段间视觉变化的建模能力。在DFEW视频数据集中的非加权平均召唤率和加

权平均召唤率分别为55.74%和69.31%，在FERV39k数据上的非加权平均召唤

率和加权平均召唤率分别为37.30%和48.76%，与其他几种视频表情识别方法

相比，取得了更好的评价指标。

关键词人脸表情识别；多尺寸卷积；通道注意力；高效通道注意力；特征语义

增强；随机平滑片段

-II-

Resear