基于脑电与眼动的多模态情感识别研究.pdf

摘要

摘要

情感在人类日常交流、决策和生活中起着重要的作用。目前，基于脑电的情感

识别任务中，一些研究只关注脑电信号的单一维度表征，信息单一可能会导致和情

感相关的信息缺失，脑电信号的频域信息虽然在情感识别任务中有着较大的优势，

但是其本身无法反应不同脑区间大脑活动变化，忽略了脑电信号的频域信息与空

间信息之间的关系；此外，人类情感具有高度的复杂性，并且与许多非语言线索有

关，单一模态脑电信号所包含的情感相关信息存在一定的局限性，难以稳定的识别

情感类别，并且脑电信号容易受到外部干扰，包括噪声和设备的影响，存在一定的

误差。为了解决上述问题，本文通过构建功能连接矩阵来捕获不同脑区之间的变化，

利用注意力机制研究脑电信号频域信息与空间信息之间的关系；通过引入眼动模

态来捕获情感上下文信息，提取脑电与眼动两个模态间的互补信息，有效提高模型

的分类性能。本文的主要研究内容如下：

（1）构建了一种基于注意力机制的双分支特征融合模型，该模型旨在同时提

取脑电信号的频域信息和空间信息，利用注意力机制对双分支网络的输出特征进

行融合，利用融合特征进行情感识别任务。具体来说，使用时间卷积网络来提取微

分熵特征的频域信息；使用卷积神经网络来提取功能连接矩阵中所包含的空间信

息。之后利用注意力机制对双分支网络的输出特征进行融合，将融合特征用于情感

识别任务。模型在SEED和SEED-IV两个公开数据集上的分类准确率分别达到

97.74%和96.35%，结果证明，该方法能够有效提高基于脑电信号的情感分类性能，

证明了脑电信号的频域和空间信息之间存在相关性。

（2）构建了一种基于深度典型相关性分析和多头自注意力机制的多模态特征

融合模型，该模型旨在研究脑电信号和眼动信号之间的相关性，能够有效的提取模

态间的全局相关信息。具体来说，通过向模型中添加相关性损失函数，来约束模型

输出具有高度相关性的非线性特征，基于多头自注意力机制来提取融合特征的全

局上下文信息。该模型在SEED和SEED-IV数据集上的分类准确率分别达到98.55%

和98.01%，实验结果表明，利用深度典型相关性损失来约束模型得到的高度相关

性特征有利于提高模型的分类性能，利用多头自注意力机制能够有效提取融合特

征的全局信息，证明了脑电信号和眼动信号具有互补特性。

关键词：情感识别；脑电信号；眼动信号；注意力机制；多模态融合

I

目录

目录

第1章绪论1

1.1研究背景和意义1

1.2国内外研究现状分析2

1.2.1基于脑电信号的情感识别综述2

1.2.2基于眼动信号的情感识别综述4

1.2.3基于脑电与眼动的多模态情感识别综述5

1.3本文研究内容7

1.4论文结构安排8

第2章相关理论10

2.1情感相关理论10

2.2多模态生理信号11

2.2.1脑电信号11

2.2.2眼动信号12

2.3深度学习相关理论13

2.3.1卷积神经网络13

2.3.2时间卷积网络15

2.3.3注意力机制18

2.3.4深度典型相关性分析22

2.4多模态情感相关数据集24

2.4.1SEED公开数据集24

2.4.2SEED-IV公开数据集24

2.5本章小结25

第3章基于注意力机制双分支特征融合模型26

3.1模型框架26

3.1.1微分熵特征计算26

3.1.2功能连接矩阵的构建27

3.1.3模型结构28

3.2实验与结果分析31

3.2.1实验环境31

3.2.2数据处理32