C-CapsNet-一种异构脑电和眼动双模态的情绪识别模型.docx

? ? C-CapsNet:一种异构脑电和眼动双模态的情绪识别模型 ? ? 马军辉，王 峰，王 晔，肖家赋，相虎生 (1.太原理工大学 信息与计算机学院, 太原 030000；2.中国人民武装警察部队指挥学院, 天津 300000) 0 引言 情绪识别尝试感知、理解和调节个体情绪，涉及认知科学、计算机科学、心理学、神经科学和人工智能等多个学科。得益于传感器技术和计算机图像处理单元(GPU)的发展，基于情绪的人机互动在虚拟现实、辅助驾驶、游戏开发和医疗诊断等多个领域快速发展[1]。情绪识别所使用的信号模态可以分为生理信号和非生理信号两类。非生理信号包括面部表情(微表情)、眼动、语音和姿势等与情绪密切相关或是情绪产生结果的外在信号；生理信号包括脑电图(EEG)、心电图(ECG)、血容量脉冲(BVP)和心率变异性(HRV)等不受主观意识控制的内在信号[2]。在外在信号中，可以使用低成本设备轻易获取面部表情、语音和姿势，但这些外在信号容易被误导性产生，进而使真实情绪被隐藏。情绪是人类与周围环境进行互动的结果，有其特定的背景，眼动信号包括注视、扫视、眨眼和瞳孔直径等数据，虽然获取成本较高，但以一种自然的方式观察用户行为是一种非侵入性和准确的情绪研究数据源，可嵌入到虚拟现实等穿戴设备[3-4]。在各种生理信号中，脑电信号具有反映人类真实情绪和不受刻意隐藏的优势，随着脑电信号采集技术的迅速发展，已被广泛应用于情绪识别研究[5]。在头部表层放置多个感应大脑电场的电极采集脑电信号是一种非侵入性的采集过程，具有灵活性和准确性优势。 近年来，研究者整合多模态数据源用于提高情绪识别有效性和准确性[6-7]。其中，情绪可以诱发瞳孔直径和眼睛注视模式的波动[8]。文献[9]使用眼睛注视和瞳孔直径作为决策树的输入；文献[10]通过提取瞳孔直径数据的光谱功率和脑电信号不同频段功率谱密度(PSD)，输入到使用径向基核的支持向量机(SVM)；文献[11]提出一种基于脑电、瞳孔反应和凝视距离的主体独立情绪识别方法，在Valence和Arousal得到68.5%和76.4%的准确率；文献[12-14]基于脑电和眼动，分别应用特征级融合、决策级融合和双峰深度自动编码器进行情绪分类研究；Zheng等[15]探索了脑电信号与眼动信号之间的互补特征，他们发现脑电信号具有分类快乐情绪的优势，眼动信号具有分类恐惧情绪的优势，实验结果表明：与单一模态相比，2种模态信号融合能够显著提高情绪识别性能；文献[16]基于脑电信号、眼动信号和面部表情三种模态进行融合，在自采集情绪数据上进行实验，Valence和Arousal识别准确率达到67.8%和77.0%。以上研究表明，融合脑电与眼动2种非侵入式模态被证明为一种情绪识别建模的有效方法。本文解决2个问题：预处理脑电和眼动2种模态，异构这2种模态的生物信号；设计胶囊网络模型处理异构信号，实现情绪识别。 1 相关研究 1.1 情绪识别 情绪识别研究有2个主要趋势：手工特征提取和经典分类器组成的经典方法；直接从数据源学习通用特征的神经网络(NN)方法。在过去几年中，端到端(end-to-end)的神经网络方法快速发展，卷积神经网络(CNN)的大量应用证明了这一点[17]。 以基于脑电信号情绪识别研究为例。为了克服脑电信号易受污染的局限性，保证输入到机器学习模型的数据质量，研究人员针对有效手工提取脑电特征进行了大量研究，包括Hjorth特征、对数功率、小波变换(WT)、非平稳指数、高阶交叉特征、分形维数特征、功率谱密度特征(PSD)、微分熵特征(DE)、理性不对称(RASM)特征、差分尾测(DCAU)特征和微分不对称(DASM)特征，然后与机器学习分类器相结合，如贝叶斯分类器、支持向量机(SVM)、线性判别分析(LDA)、决策树(DT)和随机森林(RF)，得到良好的情绪识别分类结果。近年来，包括卷积神经网络(CNN)[18]、图形卷积神经网络(GCNN)[19]、深度信念网络(DBN)[20]在内的深度学习已经广泛应用于情感识别研究，基于大量源数据自动提取特征，描述数据源与情绪之间更加丰富的内在信息。深度学习克服了基于机器学习手工提取特征泛化能力低的问题，同时引入了不能充分使用脑电信号空间分辨率和时间分辨率的问题[21]。文献[22]将下采样的脑电信号时间序列输入CNN，通过参数调优优化准确率，忽视了脑电信号电极空间排列特征；文献[23]构建脑电信号每个子带皮尔逊相关系数矩阵，然后输入到CNN训练，忽视了脑电信号的时间信息；文献[24]根据电极实际位置进行空间重构，得到二维脑电矩阵，叠加二维脑电矩阵得到三维脑电流，最后输入到3D CNN网络。 近些年，很少有情绪识别研究基于脑电信号空间和时间信息，以及使用胶囊网络进行情绪识别研究。文献[