面向可解释的情绪识别：使用机器学习识别关键特征.pdfVIP

面向可解释的情绪识别：使用机器学习识别关键特征

亚库巴·卡洛加伊纳·科达西

通信信号处理组，瑞士Idiap研究institute，Martigny，瑞士

本ABSTRACT示传达的——无论是视觉上，还是通过声音、语调和其

译他听觉特征。当情绪感知受损时，如某些病理情况[1]，

无监督方法，如wav2vec2和HuBERT，在音频任

中务中已达到最先进的性能，导致研究从可解释特征转沟通变得特别具有挑战性，这强调了在听觉互动中保

1向其他方向。然而，这些方法缺乏可解释性限制了它持这些线索的重要性。同时，我们音频互动中的很大

v一部分现在是通过电子系统进行的，包括远程会议、

0们在医学等关键领域中的应用，在这些领域中理解特

3电话和助听器。虽然这些系统处理声音以优化信号质

征相关性至关重要。为了更好地了解无监督模型的特

2量、信号可理解性、能源效率或延迟等因素，但很少

4征，识别与给定任务相关的可解释特征仍然是至关重

0考虑情绪暗示的保存。通过人类主观测试评估各种处

.要的。在这项工作中，我们专注于情绪识别，并使用

8理方案对情绪暗示的影响是不切实际的，因为成本高

0机器学习算法来识别和推广此任务中最重要且可解释且扩展性有限。使用机器学习模型进行语音情感识别

5的特征。虽然以前的研究探讨了情绪识别中的特征相

2（SER）的不同音频处理方案的自动化系统可以提供

:关性，但它们往往受限于狭窄的背景并呈现不一致的

v一种可行的替代方案。先前的研究表明人与机器在情

i结果。我们的方法旨在克服这些限制，为识别最重要

x绪感知上的相似之处，通常机器依赖于手工制作的声

r且可解释的特征提供一个更广泛、更稳健的框架。

a学特征来识别关键的情绪暗示[2,3]。然后可以通过分

析手工制作的声学特征是如何受到影响的[4,5]或测

Keywords:重要特征，情感识别，可解释性。

量依赖这些特征的模型性能下降的程度[4,6]来量化

各种处理方案（或扰动）对情绪感知的影响。然而，

1.介绍

这样的方法通常依赖于有限范围的声学特征和数据集

有效沟通依赖于对话者之间对情感的准确相互感数量，缺乏通用性，并突显了需要一个更广泛的情绪

知。在对话中交换的信息有相当一部分是通过情绪暗相关声学特征集的需求，这些特征可以在不同场景中

应用。

*Correspondingauthor:yacouba.kaloga@idiap.ch.