ASLSL：基于不完整多模态生理数据的自适应共享潜结构学习用于多维情感特征选择.pdfVIP

ASLSL：基于不完整多模态生理数据的自适应共享潜结构学习用于多维情感特征

选择

XueyuanXu*,TianzeYu,WenjiaDong,FulinWei,LiZhuo

SchoolofInformationScienceandTechnology,BeijingUniversityofTechnology,Beijing100124,

China

SchoolofArtificialIntelligence,AnhuiUniversity,Beijing100124,China

{xxy,zhuoli}@,23027425}@,weifulin@

Abstract

最近，基于多模态生理信号的情绪识别在脑机接口领域

引起了越来越多的关注。然而，相关的多模态生理特征

本通常是高维的，并不可避免地包含无关、冗余和噪声表

译示，这些容易导致情绪分类器出现过拟合、性能差和计

中算复杂度高的问题。特征选择已被广泛应用于解决这些

问题。不过，以往的研究通常假设多模态生理数据是完

1整的，而实际上由于采集和操作环境的开放性，数据往

v

4往是不完整的。例如，一部分样本在某些模态中可用而

3在其他模态中不可用。为了解决这一问题，我们提出了一

9种针对不完整多模态生理信号特征选择的新方法，称为

5自适应共享潜在结构学习（ASLSL）。基于相似特征具有

0

.相似情绪标签的特性，ASLSL采用自适应共享潜在结构

8

0学习来探索一种共同的潜在空间，该空间用于不完整多

5模态生理信号和多维情绪标签，从而减轻缺失信息的影

2响并挖掘共识信息。使用两个最受欢迎的带有多维情绪图1:多模态情感BCI应用的一个示例，以及两个挑战：

:标签的多模态生理情绪数据集（DEAP和DREAMER）(1)由于采集和操作环境的开放性导致的不完整多模态

v

i对比了ASLSL与其他十七种特征选择方法的性能。在生理信号数据，如通道噪声或电极脱落；(2)多模态生

x

r这些数据集上的综合实验结果证明了ASLSL的有效性。理特征的高维度与相对较少的同步收集的多模态样本

a

数量导致了维数灾难问题。

介绍

现有的情感计算研究主要使用离散或多维情绪模andDi2024)，它在情绪识别研究中引起了相当大的关

型来表示不同的情绪状态。与离散情绪模型相比，多维注。然而，由于脑电图信号的非线性、非平稳特性和个

情绪标签模型提供了更广泛的特点描述，并且能够描绘体差异性(Lietal.2022)，基于单一模式EEG的情绪

情绪状态的变化(Khareetal.2023)。当前，情绪识别识别系统常常面临实际应用中准确性低的问题(Geetha

方法主要包括面部表情、语音、肢体动作、文本和神经etal.2024)。为了解决这些问题，一些研究尝试使用多

生理信号(EzzameliandMahersia2023)。情绪伴随着模态神经生理信号分析情绪状态(Zhangetal.2020b)。

生理和心理活动而产生，与其它方法相比，神经生理信每种模式揭示了情感过程和动态的特定方面，并且互补

号的优势在于难以伪造(Wuetal.2023)。的多模态神经生理信号提供了多层次的情感表示，增强

在多种生理信号中，由于脑电图（EEG）具有高时了情绪识别的准确性(Geethaetal.2024)。

间分辨率、非侵入性和易于实现的特点(Wang,Zhang,