面向区域遮挡的面部情感识别研究.pdfVIP

哈尔滨理工大学工学硕士学位论文

面向区域遮挡的面部情感识别研究

摘要

面部情感识别是一种通过分析人脸表情特征来识别和理解人的情感状态的技

术。在现实生活中，由于口罩、墨镜等因素的影响，人们面部可能会出现区域遮

的状况，致使传统的面部情感识别技术无法准确识别面部情感状态。因此，面向

区域遮挡的面部情感识别成为了一个备受关注的研究领域。传统的面部情感识别

技术针对遮挡问题，通过优化损失函数以及添加多层卷积来改善提取到的面部特

征，这可能会造成重要区域特征不突出，进而影响情感识别效果；此外，提取到

的多块区域特征进行特征融合时，存在特征权重优化权衡问题。针对以上问题，

本文提出改进局部注意力的面部遮挡情感识别模型来对区域遮挡情况下的面部情

感识别进行研究，同时也进行基于集成学习和知识蒸馏的面部遮挡情感识别模型

优化方法研究。

本文主要研究工作：

（1）改进局部注意力的面部遮挡情感识别模型设计：该模型由添加改进局

部注意力模块的卷积神经网络（CNN）和Transformer的编码器模块组合构成。

首先，将面部图片送入CNN提取出全局特征和浅层特征，将浅层特征分为四个

子块，每个子块经过下采样之后进入两个分支，分别是特征图权重估计分支和通

道权重估计分支，将各分支提取到的特征进行卷积并与权重估计分支之前的特征

进行逐元素点积，得到其子块的局部特征。其次，基于局部特征和全局特征构建

了一个特征融合模块，该模块通过引入Transformer编码器对局部特征和全局特征

进行处理，并利用编码器生成的查询、键和值来计算不同特征之间的相关性。最

后，将融合后的特征送入分类器，构成整体的面部遮挡情感识别网络。在公开数

据集RAF-DB、AffectNet以及FER+上，所提出的改进局部注意力的面部遮挡情

感识别模型准确率分别达到91.20%、66.89%和91.58%，优于其它面部情感识别

方法。

（2）基于集成学习和知识蒸馏的模型优化方法研究：该模型优化方法主要

包括两部分：一部分是基于集成学习的面部遮挡情感识别模型优化方法，分析了

模型在训练时达到局部最优的原因，对采用集成学习方式实现多个局部最优达成

全局最优进行了研究，使用投票决策法对局部最优的结果进行统一处理；另一部

分是基于知识蒸馏的面部遮挡情感识别模型优化方法，分析了基于集成学习的模

型优化方法参数量大的原因，对采用知识蒸馏方式实现缩减参数复杂度进行了研

I

哈尔滨理工大学工学硕士学位论文

究。在公开数据集RAF-DB以及FER+上对所提出的模型优化方法进行验证，实

验结果表明了所提的模型优化方法的有效性。

关键词面部情感识别；特征提取；特征融合；注意力机制；模型优化

II

哈尔滨理工大学工学硕士学位论文

ResearchonFacialEmotionRecognitionforArea

Occlusion

Abstract

Facialemotionrecognitionisatechnologytorecognizeandunderstandpeoples

emotionalstatesbyanalyzingfacialexpressionfeatures.Inreallife,duetotheinfluence

ofmasks,sunglassesandotherfactors,peoplesfacesmaybecovered,whichmakesthe

traditionalfacialemotionrecognitiontechnologycannotaccuratelyidentifyfacial

emotionstate.Therefore,fa