CN120296550A 基于脑电眼动多模态跨注意力特征融合情感识别方法及系统 （北京航空航天大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120296550A(43)申请公布日2025.07.11

(21)申请号202510324236.9

(22)申请日2025.03.19

(71)申请人北京航空航天大学

地址100191北京市海淀区学院路37号

(72)发明人杨莫凡刘丽李阳

(74)专利代理机构北京金恒联合知识产权代理事务所(普通合伙)11324

专利代理师李强

(51)Int.CI.

GO6F18/2415(2023.01)

A61B5/16(2006.01)

A61B3/113(2006.01)

A61B5/374(2021.01)

A61B5/00(2006.01)

A61M21/00(2006.01)

GO6F18/25(2023.01)

GO6F18/21(2023.01)

GO6F18/213(2023.01)GO6V40/18(2022.01)

GO6V20/40(2022.01)

GO6N3/0499(2023.01)

GO6N3/0464(2023.01)

GO6N3/047(2023.01)

GO6N3/048(2023.01)

权利要求书6页说明书10页附图4页

(54)发明名称

基于脑电眼动多模态跨注意力特征融合情感识别方法及系统

(57)摘要

CN120296550A本发明提供了一种基于脑电眼动多模态跨注意力特征融合情感识别方法，包括：先对情感识别公开数据集进行预处理，建立对应的训练集和测试集；其次构建脑电眼动多模态跨注意力特征融合情感识别模型；然后进行模型训练及性能测试；最后搭建脑电眼动多模态在线情感识别系统，验证方法有效性。本发明的优点包括：设计脑电眼动多模态跨注意力特征融合情感识别模型，将动态图卷积网络与注意力机制灵活应用，同时使用多维数据，弥补了单模态情感识别信息不足的问题，提升了识别准确率；搭建脑电眼动多模态在线情感识别系统，增强了交互性。本发明的平均识别准确率达到97

CN120296550A

断aS1+S2

断

a

S1+S2数据获

步骤

构建

方法性能测试

S4

识准确丰数范测试集

可解释性分析

方法有效性验证

控制指识别结果显示模块

异常状态预赁模块

五折交叉检证方法

选代次数限定策路

特征擅取模块多维报动信号特

征措取模块

数据获取公开数据集SEED

基线校准

坏导8除

多模态注意力特征融合

数据预处理数世荡选

步骤

系统验证

翻蜀

多模态信息采集与识别

双分支特征提取

数据集划分

☆

模型输入

模型训练

情感分类

训练与

动深实

CN120296550A权利要求书1/6页

2

1.面向基于脑电眼动多模态跨注意力特征的融合情感识别的、基于脑电眼动多模态跨注意力特征融合情感识别模型的建模方法，其特征在于包括；

A)构建动态图脑电信号特征提取模块，用于提取脑电数据中的时域和空间域的高级特征，将脑电信息与通道信息相结合；

B)构建多维眼动信号特征提取模块，用于提取眼动信号的深度时域特征，捕捉实时的眼动特征变化；

C)构建多模态跨注意力特征融合模块，用于融合脑电信号特征和眼动信号特征；

D)构建情感状态识别分类模块，用于输出情感识别结果，情感识别结果包括积极、消极、中性等离散情感状态，

其中：

所述步骤A)包括：

A1)在时域层面，首先利用具有不同大小卷积核尺寸的多个卷积层单元从脑电信号中初步提取时间域特征；

A2)接着，通过计算脑电信号的时频图以生成不同频段下的显著特征，所述不同频段包括：δ频段[0～4Hz]、0频段[4～8Hz]、α频段[8～12Hz]、β频段[12～30Hz]和γ频段[30~50Hz],得到特征维度为(batchsize,C,5)大小的初级脑电数据，其中batchsize取32,C为脑电通道数目，

A3)随后，采用深度可分离卷积分组分频段，深度提取脑电高级特征，包括：首先使用逐深度卷积核分组分析所述五个频段的情感识别特征，再使用逐点卷积核融合全局全频段脑电特征，以有利于捕捉最具判别力的情感特征，同时减少了模型参数量，防止过拟合，从而得到脑电高级特征Fg∈RC×Dg,