嵌入混合注意力机制的Swin Transformer人脸表情识别.pdfVIP

西北大学学报（自然科学版）

2024年4月，第54卷第2期，Apr.，2024,Vol.54,No.2

JournalofNorthwestUniversity(NaturalScienceEdition)

JNWU

·人工智能情感计算·

嵌入混合注意力机制的SwinTransformer

人脸表情识别

王坤侠2,余万成，胡玉霞1.2

（1.安徽建筑大学电子与信息工程学院，安徽合肥230601；

2.安徽省古建筑智能感知与高维建模国际联合研究中心,安徽合肥230601)

摘要人脸表情识别是心理学领域的一个重要研究方向，可应用于交通、医疗、安全和刑

事调查等领域。针对卷积神经网络（CNN)在提取人脸表情全局特征的局限性,提出了一

种嵌入混合注意力机制的SwinTransformer人脸表情识别方法，以SwinTransformer为主

干网络，在模型Stage3的融合层（PatchMerging）中嵌入了混合注意力模块，该方法能够有

效提取人脸面部表情的全局特征和局部特征。首先，层次化的SwinTransformer模型可有

效获取深层全局特征信息。其次，嵌入的混合注意力模块结合了通道和空间注意力机制，

在通道维度和空间维度上进行特征提取，从而让模型能够更好地提取局部位置的特征信

息。同时，采用迁移学习方法对模型网络权重进行初始化，进而提高模型的精度和泛化能

力。所提方法在FER2013、RAF-DB和JAFFE这3个公共数据集上分别达到了73.63%、

87.01%和98.28%的识别准确率，取得了较好的识别效果。

关键词表情识别;Transformer;注意力机制；迁移学习

中图分类号：TP391.4D0I:10.16152/j.cnki.xdxbzr.2024-02-003

FacialexpressionrecognitioninSwinTransformerby

embeddinghybridattentionmechanism

1,2

WANGKunxia-2,YUWancheng,HUYuxia

(1.SchoolofElectronicandInformationEngineering,AnhuiJianzhuUniversity,Hefei230601,China;

2.AnhuiInternationalJointResearchCenterforAncientArchitectureIntellisencingand

Multi-DimensionalModeling,Hefei230601,China)

AbstractFacialexpressionrecognitionisanimportantresearchdomaininpsychologythatcanbeappliedto

manyfieldssuchastransportation,medicalcare,security,andcriminalinvestigation.Giventhelimitationsof

convolutionalneuralnetworks(CNN)inextractingglobalfeaturesoffacialexpressions,thispaperproposesa

SwinTransformermethodembeddedwithahybridattentionmechanismforfacialexpressionrecognition.Using

theSwinTransformer