基于PVT-SE的微表情识别方法研究与应用.pdfVIP

重庆师范大学硕士学位论文中文摘要

基于PVT-SE的微表情识别方法研究与应用

摘要

微表情是一种自发性的面部肌肉变化，能有效地反映人们试图隐藏的真实情

感，在情感计算领域具有广阔前景。由于其变化微弱、持续时间短，获取样本困

难，使得不同类别的微表情样本数量差距较大，存在样本不均衡问题。目前，微

表情识别主要通过卷积神经网络进行特征取，但其取的图像尺度单一，且难

以捕获微表情序列中的局部细微变化，导致识别精度不高。针对上述问题，本文

开展了如下主要工作：

(1)针对微表情情感类别的样本数量不均衡，本文通过SMOTE(Synthetic

MinorityOversamplingTechnique)方法对原始样本进行过采样，然后在特征空间中

生成新的合成样本，从而增加少数类的样本数量，使得数据集样本趋于平衡。合

成的新样本不仅扩充了微表情数据集，还保留了原始数据的特征信息。

(2)针对单一尺度的特征取难以捕捉细微的面部情绪变化，本文出了一

种基于PVT-SE结构的多尺度特征取模型。本文在PVT(PyramidVision

Transformer)模型的原注意力层后引入了一个额外的通道注意力层(Squeezeand

Excitation,SE)，形成双注意力机制。通过双层注意力机制，实现输入数据的深度

取。SE模块通过分析注意力结果之间的相关性，不仅消除了上层注意力机制输

出中的冗余信息，还增强了有效特征信息，从而升了微表情识别的准确性。

(3)为保持微表情样本的局部几何结构，本文出了一种组合损失函数，然

后将其应用于模型训练。在模型中引入了局部嵌入损失函数(LocalEmbedding

Loss,LEL)，使其在特征取后保持数据间的局部几何结构。然后将局部嵌入损

失与交叉熵损失(CrossEntropyLoss,CEL)相结合，形成组合损失函数。组合损失

函数的运用，不仅增强了模型对输入图像局部特征的捕捉能力，还使模型学到了

更加丰富的微表情特征。

(4)本文基于上述内容，将所出的模型作为基础，设计了一套基于PVT-SE

的人脸微表情识别系统。该系统能准确检测输入样本中的微表情，随后对其进行

预处理、微表情识别，最后实现对微表情的分类。通过该系统，能更直观地验证

本文所模型在人脸微表情识别任务中的有效性。

关键词：微表情识别，多尺度特征，PVT，注意力机制

I

重庆师范大学硕士学位论文英文摘要

Micro-expressionRecognitionMethodBasedon

PVT-SE

ABSTRACT

Micro-expressionsarespontaneousfacialmusclechangesthateffectivelyrevealgenuine

emotionspeopleattempttohide,holdinggreatpotentialinthefieldofaffectivecomputing.

Duetotheirsubtlechangesandbriefduration,obtainingsamplesischallenging,leadingto

significantdiscrepanciesinthenumberofsamplesfordifferentcategoriesandresultingin

sampleimbalance.Currently,micro-expressionrecognitionprimarilyreliesonconvolu