基于脑电时频空特征的深度情绪模型.pdfVIP

青岛大学硕士学位论文

摘要

情绪，作为人类大脑和心理活动的中介，对我们的行为、决策和人际关系产生深

远的影响。基于脑电信号的情绪识别作为情感计算的重要分支，实现了利用机器更好

地理解和响应人的情绪的功能，已被广泛应用在医疗、教育和工业等各领域。深度学

习网络可以充分学习脑电信号的频域、空间和时序信息，解析局部和全局的情绪特征，

从而获得较高的情绪识别准确度，因此被广泛应用在情绪分类研究中。本文设计了三

种深度情绪模型，分别在公开数据集DEAP和SEED上开展广泛实验以验证模型的有

效性，其研究内容可概括如下：

1.针对深度学习可以深度挖掘脑电信号的情绪特征，提出了一种基于多域脑图特

征(Multi-domain,MD)的卷积神经网络(ConvolutionalNeuralNetwork,CNN)结合长短

时记忆网络(LongShort-termMemory,LSTM)情绪识别混合模型MD-CNN-LSTM。通

过计算微分熵和功率谱密度提取频域特征，CNN模块对矩阵化的脑电数据提取空间域

特征，LSTM模块进一步提取时域信息，设计仿真实验验证该模型能够取得较好的分

类准确度。

2.针对MD-CNN-LSTM情绪识别模型的分类准确度问题，提出了一种基于卷积

注意力网络CNN-CBAM和基于Attention机制的双向长短期记忆神经网络BiLSTM情

绪识别混合模型CCBAM-BiLSTM-Attention。卷积网络和BiLSTM完成脑电情绪识别

任务，设计了卷积网络融合CBAM模块的结构，来增强通道注意力机制和空间注意

力机制对频域和空域特征的学习，提出了BiLSTM结合Attention机制的方法，来增强

对时域特征的学习，进而提高模型算法的情绪识别准确度。

3.考虑脑电信号的非欧式空间特性的问题，提出了一种基于通道关系(Channel

Relationship,CR)的动态图卷积神经网络(DynamicGraphConvolutionalNeuralNetwork,

DGCN)和双向简单循环单元(BidirectionalSimpleRecurrentUnit,BiSRU)相结合的情

绪识别混合模型ACR-DGCN-BiSRU。提出了利用GCN通过构建基于欧式距离和脑功

能连接的邻接矩阵的方法，来提取脑电数据的空间特征。设计了动态图卷积实时更新

邻接矩阵来提高模型分类准确度、学习脑电通道之间的关联特征信息，结合BiSRU

实现捕捉时域信息的功能，能够节省计算成本。

关键词：情绪识别；脑电信号；深度学习网络；特征提取；注意力机制

I

青岛大学硕士学位论文

ABSTRACT

Emotion,asamediatorofhumanbrainandpsychologicalactivities,hasaprofound

impactonourbehavior,decision-makingandinterpersonalrelationships.Emotion

recognitionbasedonelectroencephalogram(EEG)signals,asanimportantbranchof

affectivecomputing,realizesthefunctionofusingmachinestobetterunderstandand

respondtohumanemotions,andhasbeenwidelyusedinvariousfieldssuchashealthcare,

educationandindustry.Deeplearningnetworkscanfullylearnthefrequencydomain,spatial

andtemporalin