基于混合注意力机制的多模态脑肿瘤图像分割方法研究.pdfVIP

摘要

基于混合注意力机制的多模态脑肿瘤图像分割方法研究

近年来，随着空气、环境质量的不断下降，以及人们在日常饮食中不能控制

对亚硝基化合物的摄入，脑肿瘤成为威胁人们健康的常见肿瘤之一。随着医学影

像的发展，作为影像技术之一的核磁共振成像(MRI)在肿瘤诊断过程中发挥着巨

大的作用。然而，医生对图像的判断大都是根据主观经验，不同医生对图像判断

也是略有出入，且在图像判别上浪费大量的精力，耽误患者的及时诊断。图像分

割作为当前计算机视觉领域的一大研究热点，在脑肿瘤图像分割领域中得到广泛

应用，辅助医生进行快速诊断。但是，脑肿瘤图像本身存在噪声大，病灶区域纹

理特征不清晰，图像原有的线性特征不足的问题，它作为医学图像本身涉及患者

的隐私；并且对于图像的标注任务需要专业的、有经验的放射科医生来进行，这

样标注出的结果才更有说服力，所以针对脑肿瘤图像的分割任务有较高的复杂

性。近年来，很多国内外研究学者在医学图像尤其是脑肿瘤分割领域已经取得了

重大的进展，尤其是基于深度学习技术的图像分割，在很多器官病灶分割任务上

表现优异。但是大部分方法仍然存在一些问题，例如，深度分割模型对于3D图

像的高维特征挖掘不足，病灶区域与正常器官边界分割模糊，模型本身参数较多，

模型浮点计算量较大，使得模型的推理速度较慢且泛化能力较低。

基于上述问题，我们提出一种基于混合注意力机制的3D脑肿瘤图像分割架

构HANet（HybridAttentionNetwork）。HANet采用一种编解码方式，包含3D

特征编码器和3D特征解码器，并且在解码器的输出阶段，我们引入了基于通道

注意力机制和空间注意力机制的混合注意力机制模块，并且提出一种注意力门单

元AGUs，用来整合编码器阶段和上采样过程的两部分特征。网络中采用了密集

连接的方式，防止参数在网络训练过程中引起的丢失，本文主要研究内容如下：

首先介绍脑肿瘤医学图像分割的背景和研究意义，对图像分割在医学图像尤

其是脑肿瘤图像分割任务中的研究情况进行综合概述，并分析了方法的优缺点；

介绍了脑肿瘤医学图像的特点，并对脑肿瘤图像分割相关技术作简要介绍。其次，

提出全新的针对脑肿瘤图像的分割架构HANet，架构采用一种V型结构，采用

编解码方式，并加入混合注意力机制和注意力门单元，架构中还采用了密集连接

的方式，一方面防止了数据丢失，另一方面提升了网络的速度。最后，在现有

I

BraTS18脑肿瘤图像数据集的基础上，进行数据增强，扩充数据集并提出一整套

脑肿瘤图像的预处理方法，提出一种重叠性图像分块方法。通过实验，证明了该

方法的有效性，在此数据集下验证了HANet分割架构的有效性。

关键词：

深度学习，脑肿瘤图像分割，注意力机制，迁移学习，密集连接

II

Abstract

Multi-modalBrainTumorImageSegmentationBasedonMixed

AttentionMechanism

Inrecentyears,withthecontinuousdeclineofairandenvironmentalquality,as

wellaspeoplesinabilitytocontroltheintakeofnitrosocompoundsintheirdailydiet,

braintumorhasbecomeoneofthecommontumorsthreateningpeopleshealth.With

thedevelopmentofmedicalimaging,magneticresonanceimaging(MRI),asoneof

theimagingtechnologies,playsanimportantroleindoctorsdiagnosis

process.However,