基于视觉腹背侧通路fMRI脑信号的多语义解码.pdfVIP

摘要

摘要

视觉语义解码是当前认知神经科学和脑机接口的研究热点，旨在从大脑视觉

皮层活动中解码出观察到的视觉场景信息，目前大多数解码研究侧重于分析单一

视觉皮层在解码活动中的功能，而对于背侧和腹侧视觉通路这类大范围功能脑区

如何处理视觉信息的综合研究却相对匮乏。先前研究表明，视觉腹侧通路主要负

责物体识别，背侧通路主要负责运动、空间位置相关信息。基于理论基础，本研

究旨在探讨该两条视觉通路在图像语义解码过程中的差异，以丰富对视觉皮层功

能划分与加工机制的认识。

本研究采用自然场景数据集（NaturalScenesDataset,NSD）作为实验材料，提

取由自然图像诱发的视觉腹侧与背侧皮层的功能磁共振成像（fMRI）响应，从自

然图像语句描述中分离出语义标签，并利用图神经网络（GraphNeuralNetworks,

GNN）作为解码模型，训练出皮层响应与图像语义标签之间的映射关系，以实现

从fMRI信号中解码语义信息的目标。

基于材料，进行以下三点研究：一是探索视觉腹背侧通路在不同语义词性上

的解码差异；二是探索视觉腹背侧通路在分级皮层上的解码差异；三是探索视觉

通路对于不同语义词性的解码敏感性。研究发现：（1）对于动词语义，背侧通路

fMRI信号解码正确率显著优于腹侧通路；（2）对于可移动属性名词，背侧通路

解码能力同样显著高于腹侧通路；（3）两条视觉通路在解码能力上的显著差异主

要源自高级视皮层区域；（4）视觉皮层能够敏感捕捉视觉中的动作语义。

为验证研究结论的稳健性，本文统计了在门控循环单元（GatedRecurrentUnit,

GRU）和多层感知机（MultilayerPerceptron,MLP）两种不同模型下的解码差异性。

结果表明，腹背侧通路的解码差异性规律在一定程度上不受所选用模型框架类型

影响，确保了研究结论稳健性。

综上，本文通过对视觉腹侧与背侧通路在不同词性及其亚类语义信息的解码

差异分析，验证了经典视觉理论中的双通路功能分离，这为我们理解视觉通路处

理和解码不同词性语义信息提供新见解，加深了对于视觉皮层功能分化与加工机

制的理解。

关键词：视觉腹侧和背侧通路，图像处理机制，视觉语义脑神经解码

I

ABSTRACT

ABSTRACT

Visualsemanticdecodingiscurrentlyahottopicincognitiveneuroscienceand

brain-machineinterfaces,aimingtodecodeobservedvisualsceneinformationfrom

brainactivityinthevisualcortex.Mostdecodingstudiescurrentlyfocusonanalyzing

thefunctionsofindividualvisualcorticesindecodingactivities,whilecomprehensive

researchonhowlarge-scalefunctionalbrainregionssuchastheventralanddorsal

visualpathwaysprocessvisualinformationisrelativelyscarce.Previousstudieshave

indicatedthattheventralpathwayismainlyresponsibleforobjectrecognition,whilethe

dorsalpathwayismainlyresponsibleformotionandspatiallocation-relatedinformation.

Basedonthistheoretic