针对特定网络的多模态脑反应预测模型.pdfVIP

针对特定网络的多模态脑反应预测模型

AndreaCorsico,GiorgiaRigamonti,SimoneZini,LuigiCelonaandPaoloNapoletano∗

DepartmentofInformatics,SystemsandCommunication,UniversityofMilano-Bicocca,vialeSarca336–20126,Milano,Italy

Abstract

在这项工作中，我们提出了一种针对网络的预测大脑对复杂多模态电影反应的方法，利用了Schaefer图谱中的Yeo7-网络划分。

与将大脑视为同质系统不同，我们将七个功能网络分为四个集群，并为每个集群训练独立的多主体、多层感知器（MLP）模型。

这种架构支持特定集群优化和自适应记忆建模，允许每个模型根据其目标网络的功能角色调整时间动态性和模式权重。我们的

结果显示，该聚类策略显著提高了Schaefer图谱中1,000个皮质区域的预测准确性。最终模型在AlgonautsProject2025Challenge

中排名第八，分布外（OOD）相关性分数几乎是选择阶段使用的基准模型的两倍。代码可在/Corsi01/algo2025

获取。

Keywords

大脑编码模型，深度学习，功能性磁共振成像，神经影像学

1.介绍

本计算神经科学的核心目标是建模大脑如何对自然刺激作出反应。传统的脑编码模型专注于使用受控

译实验室刺激的个别感觉模式，成功地预测了特定皮质区域内的神经响应。然而，现实世界的感知涉

及跨分布式脑网络同时整合视觉、听觉和语言信息。深度学习领域的最新进展为脑建模提供了强大

中的工具。早期的线性编码模型表明可以从神经网络提取的特征中预测神经响应。从那时起，出现了

1更复杂的方法，包括变换器架构和多模式模型，能够并行处理多样化的感官输入。大规模神经成像

v数据集的发展使得脑建模成为可能。虽然早期的数据集通常在范围或模式上有限，但CNeuroMod

9数据集提供了对自然电影刺激的脑响应的广泛fMRI记录，为构建和评估全脑编码模型提供了前所

9未有的机会。Algonauts项目2025挑战[1]利用该数据集来评估计算模型的能力，即预测多模式电

4

6影内容的大脑响应并泛化到不同的刺激分布。

0

.

82.背景和相关工作

0

5

2Algonauts项目近期的研究成果提供了两个关键见解，尽管这些见解是为早期具有更有限空间覆盖

:范围的挑战格式所开发的，但对于建模多模式刺激下的全脑响应仍提供了宝贵的指导。首先，Yang

v

i等人[2]证明了在大脑编码模型中建模时间动态和纳入记忆成分的重要性。他们的结果显示，使用

x过去刺激的信息——而不是仅仅依赖当前的时间点——显著提高了预测准确性，突出了时间背景在

r

a神经处理中的作用。其次，Nguyen等人[3]表明跨多个受试者训练模型，随后进行个体特异性的微

调，提供了一种强大的方法来利用共享的神经组织模式同时考虑到个体差异性。这一策略提高了跨

受试者的泛化和鲁棒性。此次挑战中使用的fMRI数据使用了Schaefer1000区域图谱[4]，将大脑皮

层划分为1,000个功能定义的区域，提供了在空间分辨率上的全脑覆盖。这些区域进一步通过Yeo7

网络划分[5]组织起来，将其归类到七个大规模的功能网络中。这种层级结构支持了敏感于精细和

网络级别组织的建模方法（图1）。

3.阿尔戈诺茨挑战赛

3.1.问题定义

阿尔戈纳特项目2025挑战提出了比以往版本更复杂的脑编码任务，引入了结合视觉、听觉和语言

信息的多模态电影刺激[6,7]。这种多模态性质从根本上改变了编码问题，要求模型在预测Schaefer

1000