基于Transformer的U型医学图像分割研究.pdf

摘要

传统卷积神经网络存在注意力有限，对于长距离像素信息交互难以有效捕捉的

问题。Transformer结构以其独特的注意力机制，可以善于远距离信息的把握，却带

来了参数量大，计算开销大的劣势。为了进一步满足医学图像分割领域对于更高精

度的需求，同时注重计算代价的控制，本文关注于Transformer结构嵌入到U型分割

网络方法的研究，主要包含以下研究内容：

1）针对已有的U型结构，由于卷积的感受野较小，不能很好地学习全局和长程

信息，导致分割结果不理想。更进一步，为了提升ViT(VisionTransformer)的分割性

能，提出一种基于自注意力门控机制的U型Transformer医学分割网络

(AG-SwinUNet)。整体上，将切好的patch图像块输入到基于Transformer的U型带

跳跃连接的编码器-解码器结构中，用于局部-全局的语义特征学习。编码器采用一个

带有移位窗口的分层Transformer架构提取上下文特征；在解码器中设计基于carafe

上采样算子的对称双Transformer架构，逐级恢复特征图分辨率；在跳跃连接部分引

入了AG(AttentionGate)单元，用于更好进行特征融合，减少特征缺失。AG-SwinUNet

在Synapse数据集上取得78.73%的DSC值并在ACDC数据集上取得91.05%的DSC

值，达到最佳分割精度，表明AG-SwinUNet能够提升医学图像分割的精度。

2）针对视觉Transformer骨干提取网络计算开销大，模型训练缓慢的问题，同

时为了进一步提升Transformer结构在医学图像领域的分割性能，提出一种名为

BiUNet的轻量级U型架构的医学图像分割网络。将输入医学图像切分成若干图像块

后，送入一种基于双层路由动态稀疏注意力机制的BiFormer转换器中，通过组合下

采样和特定深度的BiFormer模块构建多级金字塔结构实现特征提取。随后通过组合

上采样和卷积模块相应构建多级金字塔结构进行特征解码，进而实现像素级语义分

割。对比实验中，BiUNet在ISIC-2018上取得90.2%的mIoU值、CVC-ClinicDB上

取得93.07%的mIoU值以及2018DataScienceBowl上取得了85.6%的mIoU值，均

达到最佳分割精度。同时以5.55G的Flops和28.10M的参数量的计算开销说明该模

型能够以轻量化的效果有效提升医学图像分割的精度。

关键词：医学图像分割；U型网络；Transformer结构；轻量化

I

ABSTRACT

Traditionalconvolutionalneuralnetworkssufferfromlimitedattention,makingit

difficulttoeffectivelycapturelong-rangepixelinteractions,thusresultinginsuboptimal

segmentationresults.WhileTransformerstructuresexcelatcapturinglong-range

informationduetotheiruniqueattentionmechanism,theycomewiththedisadvantageof

largeparametersizesandcomputationaloverhead.Tofurthermeetthedemandforhigher

accuracyinmedicalimagesegmentationwhileemphasizingcontrolovercomputational

costs,thispaperfocusesontheresearchofembedding