CN116439720B 基于生成对抗学习的跨模态决策信心估计方法及系统 （上海交通大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116439720B(45)授权公告日2025.07.04

(21)申请号202310416057.9

(22)申请日2023.04.18

(65)同一申请的已公布的文献号申请公布号CN116439720A

(43)申请公布日2023.07.18

(73)专利权人上海交通大学

GO6F18/214(2023.01)

GO6F18/24(2023.01)

GO6N3/094(2023.01)A61B3/113(2006.01)

A61B5/00(2006.01)

(56)对比文件

CN106175757A,2016.12.07

地址200240上海市闵行区东川路800号

(72)发明人吕宝粮李芮

CN112690793A,2021.04.23审查员魏轩

(74)专利代理机构北京商专永信知识产权代理

事务所(普通合伙)11400专利代理师黄谦

(51)Int.CI.

A61B5/369(2021.01)

GO6F18/10(2023.01)

GO6F18/213(2023.01)权利要求书2页说明书9页附图3页

(54)发明名称

基于生成对抗学习的跨模态决策信心估计方法及系统

(57)摘要

CN116439720B本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计方法及系统。该方法包括：采集被试者在决策过程中的脑电信号以及眼动信号；从脑电信号以及眼动信号中提取出脑电特征以及眼动特征；通过脑电特征以及眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练；将获取的被试者的真实眼动信号输入至训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对真实眼动信号以及预测脑电信号进行决策信心估计。本发明实施例利用生成对抗学习，提高了基于眼

CN116439720B

估计。

采集被试者在决策过程中的脑电信号以及眼动信号

采集被试者在决策过程中的脑电信号以及眼动信号

从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征

通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策

信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确

定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能

够从输入的眼动特征中生成对应的脑电特征

将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成

模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以

及所述预测脑电信号进行决策信心估计

S11

S12

S13

S14

CN116439720B权利要求书1/2页

2

1.一种基于生成对抗学习的跨模态决策信心估计方法，包括：

采集被试者在决策过程中的脑电信号以及眼动信号；

从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；

通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征，其中，在第一训练中，基于深度自动编码器确定所述脑电特征以及所述眼动特征的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特征，将所述眼动高阶特征以及脑电高阶特征确定为决策信心特征，在第二训练中，将所述眼动高阶特征输入至所述脑电生成模型，得到预测脑电高阶特征，判别所述脑电高阶特征与所述预测脑电高阶特征的交叉熵损失，基于所述交叉熵损失对所述脑电生成模型进行生成对抗学习；

将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估

计。

2.根据权利要求1所述的跨模态决策信心估计方法，其中，所述采集被试者在决策过程中的脑电信号以及眼动信号包括：

基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及眼动

信号。

3.根据权利要求1所述的跨模态决策信心估计方法，其中，在所述采集被试者在决策过程中的脑电信号以及眼动信号之后，所述方法还包括对所述脑电信号以及眼动信号