基于脑电的跨被试情感识别方法研究.pdf

摘要

随着2023年ChatGPT等先进语言模型的崛起，人工智能技术在解析和处理人类

语言方面取得了巨大的进步。尽管如此，在理解人类语言的情感方面，人工智能与人

脑的认知仍存在一定的差距，探索和研究能够准确识别人类情感的新技术和新方法

是目前情感计算领域的研究热点和重点。目前，脑电信号作为大脑的认知信号，凭借

其固有的客观性和可靠性等优势已经成为情感识别研究的重要技术手段。然而，个体

间的差异导致不同被试脑电数据分布的差异性，限制了跨被试脑电情感识别任务的

泛化性能。为了解决这一问题，本文提出了两种模型，旨在学习跨被试任务中个体不

变性的表示，具体研究内容包括：

（1）提出了一种基于压缩感知（CS）和生成对抗网络（GAN）的脑电生成模型

（CS-GAN），该模型通过建立说话人语音与听者脑电信号之间的映射关系，生成说

话人语音诱发的被试的脑电信号，用于情感识别。其中，CS技术的主要作用是对语

音信号进行观测，模仿人脑的感知机制，使不同被试对同一语音信号产生个体差异，

进而保证GAN网络生成的脑电信号具有多样性。最后，通过CNN-LSTM分类模型

对生成的脑电信号及其叠加的ERP信号进行情感识别验证，发现CS-GAN生成的脑

电信号情感识别结果较真实脑电信号提升约9.31%，在ERP信号的情感识别结果上

可达到77.23%识别率，提升约43.59%。该方法不仅证实了CS-GAN模型在提取被试

间情感信息的优势，也为深入理解人类情感提供了新的视角。

（2）提出了基于多尺度的双曲对比学习模型（MSHCL）的跨被试脑电情感识别

方法，该模型在传统对比学习的基础上设计了一种新的对比学习策略，旨在从跨被试

脑电信号中提取出相同情感状态下的个体不变性特征。与一般的对比学习方法相比，

在情感和刺激两个尺度上设计对比损失函数，以学习脑电信号在这些尺度间的差异，

从而保证了所得表示的分类能力。此外，本方法在预训练模型的末端加入了双曲嵌

入，利用双曲空间对层级数据的表达能力提取不同尺度下脑电信号中的层级信息，学

习到更具有情感区分度的脑电特征。最后采用预训练模型得到的脑电表示的微分熵

特征进行分类，在SEED数据集上的分类准确率达到了89.3%，在FACED数据集上

的二分类任务和九分类任务的准确率分别达到了77.3%和46.0%，实验结果表明，

MSHCL在跨被试情感识别任务中优于现有基线方法。

关键词：脑电信号；情感识别；生成对抗网络；对比学习；跨被试

ABSTRACT

WiththeadventofadvancedlanguagemodelslikeChatGPTin2023,artificial

intelligencehasachievedsignificantstridesinparsingandprocessinghumanlanguage.

Despitetheseadvancements,agapremainsbetweenAIsabilitytounderstandtheemotional

nuancesofhumanlanguageandhumancognitiveprocesses.Exploringnewtechnologies

andmethodologiescapableofaccuratelyidentifyinghumanemotionshasbecomearesearch

hotspotandakeyfocuswithinthefieldofaffectivecomputing.Currently,EEGsignals,

servingascognitivesignalsofthebrain,leveragetheirinherentobjectivityandreliability

toplayacrucialroleinemotionrecognitionresearch.However,inter-individual