基于深度学习的脑电情感识别与生成问题研究.pdfVIP

摘要

情感识别技术通过分析人类的语言、音频和图像信息来识别表达者的当前情感

状态，对于人机交互、智能客服、心理健康监测等领域具有重要的应用价值。脑电

信号(Electroencephalogram,EEG)是一种非侵入性的生物信号采集技术，能够直接反

应出大脑皮层的电活动。因为其高时间分辨率和相对客观地反映大脑活动的能力而

被广泛使用。通过分析EEG信号，可以确定与特定情感相关的脑区活动，从而更

好地理解情感状态。

然而，EEG信号的情感识别技术仍面临着一系列挑战。首先，情感是由文化背

景和个人经历等因素影响的复杂心理状态，其表达多样且带有主观性。其次，现有

EEG信号数据集收集志愿者人数少导致数据量十分有限，难以支持复杂度高的深度

模型依赖大量的数据标注。此外，现有的深度学习模型在特征提取时忽略通道间和

信号间的相关性，且所提取特征不够全面和准确等。

针对以上挑战，本文分别针对数据特征提取困难和数据样本量小的问题提出了

EEG情感识别模型和EEG信号生成模型。主要研究内容如下：

1.针对传统脑电情感识别方法中数据量大、特征提取困难、模型复杂度高等问

题，提出了一种基于多通道帧级筛选的长短时记忆网络模型(LongShort-Term

MemorybasedonMulti-ChannelFame-Levelfiltering,MCFL-LSTM)。整体框架采用

教师-学生模型，采用共享权重的方式进行数据传输，从而保证EEG信号隐私性。

对于单层模型而言，32个单通道特征片段采用本文设计的“多头门控”模块进行单通

道的特征片段加权输出，筛选单个通道的冗余特征。接着，采用“多头门控”在降

维后不同通道间进行通道级特征筛选，获取与电刺激最相关通道，减少了冗余特征

的干扰，提高情感识别的准确性和效率。

2.针对EEG信号样本量匮乏的问题，提出了一种基于对抗生成网络的语义自

适应层级归一化数据增强方法(Semantic-AdaptiveLayerDenormalizationGAN,

SALDE-GAN)。首先，整体采用生成对抗网络优化生成的脑电信号，使其逼近真实

信号，保证扩充的信号质量。其次，将风格输入本文设计的包含SALDE模块的生

成器中，动态地调整生成器网络的规范化参数，从而生成的图像不仅能够保留原始

图像的语义信息，还能够保持其独特的风格特征。最后，设计了一个改进的残差模

块，利用两种语义融合实现样本修补，从而提高样本生成高效性和稳定性。

本文所提算法在常用的公开数据集上进行了实验验证。实验结果表明，所提出

的模型相较于当前领域的主流和先进算法，在性能和训练稳定性方面都有所提升，

为解决脑电数据量不足和特征提取困难等问题提供了新的思路和方法。

关键词：脑电信号；情感识别；对抗生成网络；长短时记忆网络；卷积神经网络；

数据增强

Abstract

Emotionrecognitiontechnologyidentifiesthecurrentemotionalstateofanindividual

byanalyzinghumanlanguage,audio,andimageinformation.Thistechnologyholds

significantapplicationvalueinfieldssuchashuman-computerinteraction,intelligent

customerservice,andmentalhealthmonitoring.Electroencephalography(EEG)isanon-

invasivebiologicalsignalacquisitiontechnologythatdirectlyreflectstheelectricalactivity

ofthecerebralcortex.Itiswidelyusedduetoitshightemporalresolutionandabilityto

objectivelyreflectbrainactiv