颜色直方图均衡化和微调以提高在手语数据集上（部分遮挡）人脸的表情识别效果-计算机科学-计算机视觉-手语数据集.pdfVIP

颜色直方图均衡化和微调以提高在手语数据集上（部分遮挡）

人脸的表情识别效果

FabrizioNunnari,AlakshendraJyotsnadityaRamkrishnaSingh,PatrickGebhard

fabrizio.nunnari@dfki.de,alsi04@dfki.de,patrick.gebhard@dfki.de

GermanResearchCenterforArtificialIntelligence(DFKI)

摘要用途。该研究是通过手动注释的人脸动作编码系统

（FACS）单元的解释来进行的，这是一个非常耗时的

本本次调查的目的是量化计算机视觉方法在手语任务，可以使用计算机视觉库进行自动化。

数据集上正确分类面部表情的程度。我们通过仅使用Kulshreshtha(2024)[12]发现，在印度手语(ISL)

译面部的上半部分或下半部分来识别表情，从而扩展中，参与者在愤怒、惊讶和兴奋的语境中使用双重疑

中了实验，这需要进一步研究听力正常和聋人受试者问词标记。该分析是手动进行的，以发现可以通过无

1之间情感表现差异。为了考虑数据集的独特颜色特监督机器学习方法识别的模式。

v征，我们的方法引入了一个基于直方图均衡化和微调

7

9的颜色归一化阶段。结果显示能够以83.8%的平均灵

1在本文中，我们介绍了旨在了解机器学习，特别

敏度正确识别面部表情，并且类别间的方差非常小

0是基于卷积神经网络的计算机视觉，在进一步研究手

2（0.042）。像人类一样，从下半部面部识别表情的准确

.语情感识别策略方面能起到多大帮助的研究开端。更

7率（79.6%）高于上半部分（77.9%）。值得注意的是，

0具体地说，我们报告了一个实验的结果，该实验旨在

5来自面部上半部分的分类准确性高于人类水平。根据Ekman表情分类[6]正确地分类情感。

2

:为了进一步将这项研究与手语领域联系起来，我

v关键词

i们观察到，在判断情感时，手语使用者和说话者对手

x

r手语，情感，部分面部可见性，埃克曼，面部表部和下半部分脸的关注点不同。

a

情，直方图均衡化，色彩归一化。例如，Letourneau和Mitchell[13]通过眼神分析

测量了听力正常和聋哑人在识别身份和情感时对脸

部的注视程度。结果显示，相对于听力正常的人，聋

1动机和相关工作

哑手势者在判断情感时更关注脸部下半部分。最近

手语（SL）中的情感表达研究正受到科研界越来Kang等人[9]重复得到了相同的结果。

越多的关注。例如，参见最近关于手语中表达情感的Dye等人的[5]也证实了对于其他“视觉空间

1选择性注意任务[…]，手语使用者的注意力转向下

研讨会。从报道