基于面部动作单元多任务学习的微表情识别研究与应用.pdfVIP

基于面部动作单元多任务学习的微表情识别研究与应用

摘要

微表情，作为瞬时且非自主的面部表情变化，最能够反映个体的真实情感和想

法。微表情的识别对于揭示人们隐藏的真实情绪至关重要，并在医疗诊断、商业交

流、司法审讯等领域具有广泛的应用前景。由于微表情持续时间短暂(一般在1/25

至1/5秒之间)，且动作幅度细微，人类很难直观地察觉和识别这些快速出现的面

部表情。计算机视觉技术的发展为自动微表情识别提供了新的可能性。

目前的微表情识别研究多集中于应用特征提取网络捕获面部的微细动作，并

针对单一微表情识别任务进行模型训练。基于多任务学习理论，面部动作单元编码

系统，本文提出了一种多任务微表情学习框架，该框架同时利用面部动作单元

(ActionUnits,AUs)与微表情分类任务进行多任务学习。该框架通过联合学习两个

高度相关的任务，提高微表情识别的精度。整合这两项任务使得模型能更深入地解

析微表情背后的复杂面部动态信息，并在样本量受限的情境下增强模型的泛化能

力和整体表现。具体研究内容包括：

基于AU检测多任务学习的双流3DCNN微表情识别方法(AUMEs)：鉴于微表

情动作幅度的微弱性，本研究在预处理阶段运用拉格朗日运动放大算法及深度学

习驱动的光流估计技术，以增强微表情的时空特征，并提取其动作特性。同时，考

虑到微表情样本数量有限、样本分布不均的问题，采用了AU检测多任务学习框

架，将AU识别作为辅助任务整合到微表情识别中，以此缓解小样本问题给模型训

练带来的影响，采用加权焦点损失函数来平衡训练数据集中的类别不均问题。在

CASMEII和SAMM数据集上进行五分类任务时，模型的识别准确率分别达到了

81.05%和79.85%。

基于动作解耦的微表情识别方法(ADMME)：在前述多任务学习框架的基础上，

针对微表情运动强度较低的特性。本研究采用伪孪生网络结构和对比学习策略，在

微表情的起始帧与峰值帧之间提取出与身份信息无关的微表情动作特征。在

CASMEII和SAMM数据集上进行的五分类验证实验中，该方法分别取得了86.34%

和81.28%的准确率，表明其对于微表情识别任务的优异性能。

关键词：微表情识别，AU检测，深度学习，多任务学习，对比学习

ResearchandApplicationofMicro-expressionRecognition

BasedonMulti-taskLearningofFacialActionUnits

ABSTRACT

Micro-expressions,astransientandinvoluntaryfacialexpressionchanges,arethe

mostrevealingofanindividualstrueemotionsandthoughts.Therecognitionofmicro-

expressionsiscrucialinrevealingpeopleshiddentrueemotionsandhasbroad

applicationprospectsinfieldssuchasmedicaldiagnosis,businesscommunication,and

judicialinterrogation.Duetothebrevityofmicro-expressions(typicallylastingbetween

1/25to1/5ofasecond)andtheirsubtlemovements,itischallengingforhumansto

intuitivelydetectandrecognizetheserapidlytransitioningfacialexpressions.The

developmentofcomputervisiontechnologyhasprovidednewpossibilitiesforautomatic

m