ViTAU：基于Vision transformer和面部动作单元的面瘫识别与分析.pdfVIP

工程科学学报，第47卷，第2期：351−363，2025年2月

ChineseJournalofEngineering,Vol.47,No.2:351−363,February2025

/10.13374/j.issn2095-9389.2024.05.06.003;

ViTAU：基于Visiontransformer和面部动作单元的面瘫

识别与分析

1)1)1)✉2)

高嘉，蔡文浩，赵俊莉，段福庆

1)青岛大学计算机科学技术学院，青岛2660712)北京师范大学人工智能学院，北京100875

✉通信作者，E-mail:zhaojl@

摘要面部神经麻痹（Facialnerveparalysis，FNP），通常称为贝尔氏麻痹或面瘫，对患者的日常生活和心理健康产生显著影

响，面瘫的及时识别和诊断对于患者的早期治疗和康复至关重要.随着深度学习和计算机视觉技术的快速发展，面瘫的自动

识别变得可行，为诊断提供了一种更准确和客观的方式.目前的研究主要集中关注面部的整体变化，而忽略了面部细节的重

要性.面部不同部位对识别结果的影响力并不相同，这些研究尚未对面部各个区域进行细致区分和分析.本项研究引入结合

Visiontransformer（ViT）模型和动作单元（Actionunit，AU）区域检测网络的创新性方法用于面瘫的自动识别及区域分析.

ViT模型通过自注意力机制精准识别是否面瘫，同时，基于AU的策略从StyleGAN2模型提取的特征图中，利用金字塔卷积

神经网络分析受影响区域.这一综合方法在YouTubeFacialPalsy（YFP）和经过扩展的CohnKanade（CK+）数据集上的实验中

分别达到99.4%的面瘫识别准确率和81.36%的面瘫区域识别准确率.通过与最新方法的对比，实验结果展示了所提的自动

面瘫识别方法的有效性.

关键词Transformer；面部动作单元；多分辨率特征图；生成器；热力图回归

分类号TP391

ViTAU:Facialparalysisrecognitionandanalysisbasedonvisiontransformerandfacial

actionunits

GAOJia1)，CAIWenhao1)，ZHAOJunli1)✉，DUANFuqing2)

1)CollegeofComputerScienceTechnology,QingdaoUniversity,Qingdao266071,China

2)SchoolofArtificialIntelligence,BeijingNormalUniversity,Beijing100875,China

✉Correspondingauthor,E-mail:zhaojl@

ABSTRACTFacialnerveparalysis(FNP),commonlyknownasBell’spalsyorfacialparalysis,significantlyaffectspatients’daily

livesandmentalwell-being.Timelyidentificationanddiagnosisarecrucialforearlytreatmentandrehabilitation.Withtherapid

advancementofdeeplearningandcomputervisiontechnologies,automaticrecognitionoffacialparalysishasbecomefeasible,offeringa

moreaccurateandobjectivediagnosticapproach.Currentresearchprimarilyfocusesonbroadfacialchangesandoftenneglectsfiner

facialdetails,whichleadstoinsufficientanalysisofhowdifferentareasaffe