基于深度学习的微表情识别研究.pdfVIP

基于深度学习的微表情识别研究

摘要

微表情是人们试图隐藏自己内心真实情感所发生的一种短暂的、无意识的面部表情。

与普通的宏表情相比，微表情通常持续时间只有1/25到1/2秒，是对情绪刺激做出的非

自愿的、微弱的、持续时间短的面部表情。由于微表情可以反应人们真实的情感状态，

已经成为情感表达理解和人类情感的重要课题，被用于犯罪案件侦查、国家安全、交流

谈判、教学评估、公共安全等多个领域，但其研究仍然面临着许多挑战。例如，微表情

数据库样本不足、关键帧标注困难、面部肌肉动作难以捕捉等问题。

基于深度学习的微表情识别算法拥有更高的识别效果，占据了微表情识别领域的主

导地位。本文对上述微表情识别领域存在的问题进行研究并提出了一些基于深度学习的

微表情识别方法。主要贡献如下：

1Apex

（）提出基于注意力的帧微表情识别方法。针对现有微表情数据库样本不足

和类别不均衡的问题，首先对Apex帧图片进行数据增强，之后使用融合注意力机制的

ResNet18网络作为Apex帧的特征提取模块，注意力模块可以使模型聚焦面部肌肉的运

动区域，同时，在训练过程中使用FocalLoss损失来增加少数样本的损失权重，以此来

提高模型的识别率。相比TransferLearning算法，此算法在MMEW数据库上将准确度提

升了1.8%。

2

（）针对微表情样本中面部肌肉变化微弱难以提取微表情面部动作特征的问题。

提出了基于双流融合的Transformer微表情识别方法。该方法引入微表情的光流和差分信

息，首先，提取微表情序列中的起始帧、峰值帧和终止帧，对这三帧使用Farneback光流

来提取面部肌肉的运动特征。同时对整个视频进行差分处理，用来补充遗漏帧的面部运

动特征。之后利用结构相似的SwinTransformer网络分别对光流、差分和Apex帧进行特

征编码，最后，通过FFM特征融合模块对微表情的静态面部特征和肌肉运动特征进行融

CK+Transformer

合。在训练过程中，使用数据库对模型进行预训练，可以有效的缓解模

型过拟合问题。相比于其他先进算法，此算法分别在CASMEII、SMIC和MMEW上取得

了83.20%、79.78%和82.57%的准确率，均高于其他算法。

3

（）针对微表情数据库样本有限和难以提取有鉴别性的分类特征，提出了基于多

模态对比学习的微表情识别网络。使用微表情的RGB序列和光流序列作为不同模态，之

后利用对比学习模块使模型学习同类样本之间的共同特征和区分非同类样本之间的差

异，为了使得模型可以学习到微表情的类别特征，利用有监督学习来优化模型对类别的

哈尔滨工程大学硕士学位论文

表征。此方法在CASMEII、SMIC和MMEW数据库上与其他算法进行对比实验，验证了

此算法的有效性和鲁棒性。

关键词：微表情识别；Transformer网络；注意力机制；对比学习

基于深度学习的微表情识别研究

Abstract

Micro-expressionsarebrief,unconsciousfacialexpressionsthatoccurwhenpeopletry

toconcealtheirtrueinneremotions.Comparedtoordinarymacro-expressions,

micro-expressionsusuallylastonly1/25to1/2secondandareinvoluntary,weak,and

short-lastingfacialexpressionsmadeinresponsetoemotionalstimuli.Asmicro-expressions

canrevealpeoplesgenuineemotio