基于功能性近红外光谱技术的情绪识别研究.pdfVIP

摘要

随着神经成像技术的进步，人们认识到神经活动能为情绪识别提供更好的信息。

功能性近红外光谱技术（fNIRS）因其高便携性和抗干扰能力强等优点，使其在情绪识

别研究中成为热点。目前基于fNIRS的情绪识别研究面临着以下问题：1、缺乏高质量

情绪诱发态下的fNIRS情感数据集；2、由于受试者之间的差异，基于fNIRS的情绪识

别模型在跨被试验证策略下表现出较弱的泛化能力。本文结合fNIRS和情感计算相关

技术，针对以上问题展开如下工作：

（1）基于沉浸感更强的视频诱发态，设计科学严谨的实验范式并建立了离散情绪

状态下的fNIRS多模态情感数据集REFN。该数据集包含28名受试者（男14/女14）

观看五类情绪视频（自豪、快乐、中性、恐惧、悲伤）时的fNIRS数据、皮肤电反应

数据、光电体积描记器数据以及面部表情数据。所有受试者均参与了三次实验，总共

84份个体样本。

（2）基于自建多模态情感数据集REFN，利用fNIRS数据进行了血流动力学分析

和分类探究。功能连接结果表明实验过程中受试者在不同的情绪刺激材料下表现出不

同的大脑同步活动，血氧水平实验表明五种情绪的平均血氧水平在通道激活、激活强

度上均存在明显差异，验证了fNIRS数据的有效性。本文在与深度学习和机器学习相

关的7个模型上进行了分类探究，不同分类策略下的实验结果均高于随机机会水平，验

证了fNIRS情绪识别的可行性，并为离散情绪状态下的fNIRS情绪识别研究提供了一

个基线性能标准。

（3）提出了一个基于对比学习的双分支情感分类模型CLDBNet。该模型首先定义

不同主体间的相同刺激片段的fNIRS信号为正对样本，其余为负对样本，利用对比学

习预训练网络来提取不同受试者之间的相似特征，在下游分类任务中将经过预训练的

基于ResNet的网络架构作为对比学习的分支，并提出统计分支保留每个情绪视频的情

感相似特征，将两个分支结合以解决不同受试者之间的差异导致情绪识别模型在跨被

试验证策略下性能较差的问题。在基于REFN数据集上的实验表明该模型明显优于所

有的对比模型。与次好对比算法相比，整体五分类和整体二分类实验的准确率分别提

升了7.3%和8.8%，并且在两两二分类中，每种细分二分类实验下使用该方法的准确率

都得到了显著提升，其中在恐惧和自豪的二分类实验中提升了10.5%的准确率。

关键词：功能性近红外光谱技术；情感计算；情绪识别；对比学习

Abstract

Withtheadvancementofneuroimagingtechnologies,peoplehaverealizedthatneural

activitycanprovidesuperiorinformationforemotionrecognition.Functionalnear-infrared

spectroscopy(fNIRS),notableforitshighportabilityandstronganti-interferenceability,has

emergedasafocalpointintheresearchofemotionrecognition.CurrentstudiesbasedonfNIRS

facetwo-foldchallenges.Ontheonehand,thereisalackofhigh-qualityemotionaldatasets

underemotionstates;ontheotherhand,duetodifferencesamongsubjects,emotionrecognition

modelsbasedonfNIRSexhibitweakergeneralizationcapabilitiesinacross-subjectvalidation

strategy.ThispaperintegratesfNIRSwithaffectivecomputingtechniquestoaddressthese