基于自适应多视角深度神经网络的脑电识别.pdfVIP

第４１卷第１期计算机应用与软件Ｖｏｌ４１Ｎｏ．１

２０２４年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０２４

基于自适应多视角深度神经网络的脑电识别

１２２

王域枫冯伟杭文龙

１（南京科技职业学院信息工程学院江苏南京２１００４８）

２（南京工业大学计算机与信息工程学院江苏南京２１１８１６）

摘要由于已有深度学习方法没有从脑功能分离与整合机制角度出发构建脑电（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，

ＥＥＧ）识别网络，导致识别精度不高，因而提出一种融合多视角学习与自适应权重学习机制的自适应多视角深度

学习模型。将脑电信号划分为不同脑区的多个局部视角，将整个大脑区域视作全局视角，构建能够反映脑功能分

离与整合机制的多视角深度学习框架；利用注意力机制自适应学习多个视角之间的重要程度。该模型不仅可以

学习不同脑区ＥＥＧ深度特征，而且可以自适应地学习各个脑区权重分配。在公开及自采集ＥＥＧ数据集上的实

验结果均验证了该方法的有效性。

关键词脑电信号深度学习多视角学习注意力机制

中图分类号ＴＰ３９１．４１文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２４．０１．０１５

ＡＤＡＰＴＩＶＥＭＵＬＴＩＶＩＥＷＤＥＥＰＮＥＵＲＡＬＮＥＴＷＯＲＫＦＯＲＥＥＧＲＥＣＯＧＮＩＴＩＯＮ

１２２

ＷａｎｇＹｕｆｅｎｇＦｅｎｇＷｅｉＨａｎｇＷｅｎｌｏｎｇ

１（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＰｏｌｙｔｅｃｈｎｉｃＩｎｓｔｉｔｕｔｅ，Ｎａｎｊｉｎｇ２１００４８，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）

２（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＴｅｃｈＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１１８１６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＣｕｒｒｅｎｔｄｅｅｐｌｅａｒｎｉｎｇｍｅｔｈｏｄｓｄｏｎｏｔｔａｋｅｔｈｅｍｅｃｈａｎｉｓｍｏｆｂｒａｉｎｆｕｎｃｔｉｏｎｓｅｐａｒａｔｉｏｎａｎｄｉｎｔｅｇｒａｔｉｏｎｉｎｔｏ

ｃｏｎｓｉｄｅｒａｔｉｏｎｆｏｒＥＥＧｒｅｃｏｇｎｉｔｉｏｎ，ｒｅｓｕｌｔｉｎｇｔｈｅｐｏｏｒｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙ．Ｉｎｖｉｅｗｏｆｔｈｉｓ，ｗｅｐｒｏｐｏｓｅａｎａｄａｐｔｉｖｅ

ｍｕｌｔｉｖｉｅｗｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｗｈｉｃｈｃｏｍｂｉｎｅｓｍｕｌｔｉｖｉｅｗｌｅａｒｎｉｎｇａｎｄａｄａｐｔｉｖｅｗｅｉｇｈｔｓｌｅａｒｎｉｎｇｍｅｃｈａｎｉｓｍ．Ｂｙ

ｄｉｖｉｄｉｎｇｔｈｅＥＥＧｓｉｇｎａｌｓｉｎｔｏｍｕｌｔｉｐｌｅｌｏｃａｌｐｅｒｓｐｅｃｔｉｖｅｓａｃｃｏｒｄｉｎｇｔｏｄｉｆｆｅｒｅｎｔｂｒａｉｎｒｅｇｉｏｎｓ，ａｎｄｒｅｇａｒｄｉｎｇｔｈｅｅｎｔｉｒｅ

ｂｒａｉｎａｒｅａａｓｇｌｏｂａｌｐｅｒｓｐｅｃｔｉｖｅ，ａｍｕｌｔｉｖｉｅｗｄｅｅｐｌｅａｒｎｉｎｇｆｒａｍｅｗｏｒｋｔｈａｔｃａｎｒｅｆｌｅｃｔｔｈｅｍｅｃｈａｎｉｓｍｏｆｂｒａｉｎｆｕｎｃｔｉｏｎ

ｓｅｐａｒａｔｉｏｎａｎｄｉｎｔｅｇｒａｔｉｏｎｗａｓｃｏｎｓｔｒｕｃｔｅｄ．Ｔｈｅａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｗａｓｕｓｅｄｔｏａｄａｐｔｉｖｅｌｙｌｅａｒｎｔｈｅｗｅｉｇｈｔｓｏｆｍｕｌｔｉｐｌｅ

ｖｉｅｗｓ．ＴｈｅｐｒｏｐｏｓｅｄｌｅａｒｎｉｎｇｍｏｄｅｌｎｏｔｏｎｌｙｃｏｕｌｄｌｅａｒｎｄｅｅｐｆｅａｔｕｒｅｓｏｆＥＥＧｓｉｇｎａｌｓｉｎｄｉｆｆｅｒｅｎｔｂｒａｉｎｒｅｇｉｏｎｓ，ｂｕｔａｌｓｏ

ｃｏｕｌｄａｄａｐｔｉｖｅｌｙｌｅａｒｎｔｈｅｗｅｉｇｈｔｓｏｆｍｕｌｔｉｐｌｅｖｉｅｗｓ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｐｕｂｌｉｃＥＥＧｄａｔａｓ