CN115238731B 基于卷积递归神经网络与多头自注意力的情感识别方法 （邱锋）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115238731B(45)授权公告日2025.07.08

(21)申请号202210665185.2

(22)申请日2022.06.13

(65)同一申请的已公布的文献号申请公布号CN115238731A

(43)申请公布日2022.10.25

(73)专利权人邱锋

地址102208北京市昌平区东小口镇流星

花园三区35号楼104号

(72)发明人胡章芳陈力布杰周景帆吴昌波

(74)专利代理机构北京崇智知识产权代理有限公司11605

专利代理师王旭

(51)Int.CI.

GO6F18/24(2023.01)

GO6N3/0464(2023.01)

GO6N3/0442(2023.01)

GO6N3/0455(2023.01)

GO6N3/084(2023.01)

(56)对比文件

HuZ等.EEG-basedemotionrecognitionusingconvolutionalrecurrentneural

networkwithmulti-headself-attention.

《Appliedsciences》.2022,第12卷(第21期),1-

19.

审查员何珠

权利要求书2页说明书6页附图2页

(54)发明名称

基于卷积递归神经网络与多头自注意力的情感识别方法

(57)摘要

CN115238731B本发明请求保护一种基于卷积递归神经网络与多头自注意力机制的情感识别方法，利用一维卷积(CNN)和双向长短时记忆网络(BiLSTM)提取脑电(EEG)信号的空间和动态时间特征，并利用全连接层融合这些特征克隆给多头自注意力机制(Multi-HeadSelf-Attention)对情感关键信息的权重进行再分配，得到准确的情感状态识别。在情感分析与生理信号数据库(DEAP)上验证了设计的模型，并将设计的模型同其他情感识别模型进行比较。实验结果表明卷积网络的卷积平滑信号能够极大提升LSTM网络的识别能力，当输入为EEG时间序列，BiLSTM能够有效对时间序列过去和未来的关键信息进行学习，同时多头自注

CN115238731B

CN115238731B权利要求书1/2页

2

1.一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，包括以下步骤：

S1,利用卷积神经网络CNN提取脑电EEG信号空间特征，并采用4.0-45.0Hz带通滤波器对EEG信号空间特征进行预处理；

S2,将预处理后带有空间特征的EEG信号进行正则化与池化处理；

S3,将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息；

S4,最后利用Transformer的多头自注意力机制对脑电情感关键信息的权重再分配；还包括采用训练模型进行训练的步骤，训练模型是双向双层LSTM与多头自注意力机制加上单层卷积神经网络的结构，简称为CNN1D_BiLSTM_MHSA网络，输入的数据经过一维卷积网络，其卷积核为128,然后经过BatchNormalisation正则化和Relu激活函数再对数据进行核为3的一维池化，得到的数据序列喂给BiLSTM深层网络，每层LSTM网络有256个隐藏单元，输出结构用全连接层进行拼接，得到的512个数据序列分别克隆给多头自注意力的Q,K,V,然后通过缩放点积注意力分配权重，最后使用softmax激活函数得到分类结果。

2.根据权利要求1所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，所述步骤S1通过卷积神经网络CNN构成的特征提取器对多通道EEG信号的空间特征进行提取，然后将EEG信号的空间特征传递给正则化和池化层，CNN处理过后的卷积平滑信号还通过引入LSTM网络来处理时间序列。

3.根据权利要求2所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，所述步骤S2先利用Relu激活函数的正则化避免过拟合并且加速学习，然后再经过池化将特征信号转递给BiLSTM双向长短时记忆网络。

4.根据权利要求2所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，LSTM网络通过