CN114782350B 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 （浙江工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114782350B(45)授权公告日2025.07.08

(21)申请号202210393464.8

(22)申请日2022.04.14

(65)同一申请的已公布的文献号申请公布号CN114782350A

(43)申请公布日2022.07.22

(73)专利权人浙江工业大学

地址310014浙江省杭州市拱墅区潮王路

18号

(72)发明人张聚马栋上官之博姚信威

边林洁

(74)专利代理机构杭州天正专利事务所有限公司33201

专利代理师孙家丰

(51)Int.CI.

GO6T7/00(2017.01)

G06T7/11(2017.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/084(2023.01)

GO6V10/44(2022.01)

GO6V10/82(2022.01)

(56)对比文件

CN112446891A,2021.03.05

CN114119515A,2022.03.01

审查员唐进岭

权利要求书3页说明书6页附图3页

(54)发明名称

一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法

(57)摘要

CN114782350B本发明公开了一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，涉及深度学习领域，本发明首先对数据集进行数据预处理和数据增广，然后构建网络模型，网络模型包括主干网络、混合上下文感知模块和全局注意力融合模块，图像进入网络模型，先经过主干网络进行编码，然后通过混合上下文感知模块感知全局和局部信息，最后通过注意力融合模块对多模态特征进行融合并输出图像。经过训练好的网络模型后，把待分割的二维磁共振脑瘤图像输入到训练好的模型，输出图像的分割结果。本专利能够训练有效的自动分割MRI脑瘤图像的网络模型，

CN114782350B

输入训练数据集

输入训练数据集

数据增广和数据预处理

构建网络模型

将ImageNet上预训练的残差块参数加载到模型对应的残差块中

用已注释多模态MRI脑瘤图像数据集对网络模型进行训练

得到已训练好的网络模型

将待分割多模态MRI脑瘤图像输入到网络模型

输出分割图像

CN114782350B权利要求书1/3页

2

1.一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，其特征在于，包含以下步骤：

步骤1)输入数据集；

输入MRI脑瘤图像数据集BraTS2021;BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列FLAIR四种模态；

输入待分割的二维多模态MRI脑瘤图像；

步骤2)数据增广和数据预处理；

通过对数据集BraTS2021中的三维图像的冠状面进行切片，每个切片要同时获得它其他三种模态的对应位置的切片和分割切片，把切片图像改为4个通道，按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列FLAIR,得到的二维图像数据集记为2DBraTS2021;通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强能够增加训练的数据量，提高深度神经网络模型的泛化能力，最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；

步骤3)构建网络模型；

构建分割模型BraTSegNet;分割模型包括一个主干网络和两个关键模块组成，即ResNet主干网络、混合上下文感知HybridContext-Aware模块，简称HCA模块，和全局注意融合DAF,DualAttentionFusion模块；主干网络从输入的CT图像中提取多层特征；然后，HCA模块对特征进行增强，然后将其输入DAF模块来预测分割图；

首先从主干网络的不同层级中提取多层次特征；然后，低级和高级特征都被输入HCA模块，通过扩大接受域进行增强；需要注意的是，低/高级特征表示更接近主干网络的开始/结束的特征，开始的特征即输入特征，结束的特征即输出特征；然后，使用三个DAF模块来进行特征融合来预测分割图；此外采用深度监督策略，对三个DAF模块的输出和最后一个HCA模块的输出进行监督；使用预训练过