基于Transformer的图像分割模型优化研究.pdfVIP

基于Transformer的图像分割模型优化研究

专业名称：电子信息

研究生姓名：靳蔚首

指导教师：但永平副教授、唐长平高级工程师

摘要

随着人工智能技术的迅速发展，图像分割技术受到越来越多的关注，特别是医学

图像分割领域。医学图像分割技术将医学造影与先进的人工智能图像处理技术相结合，

形成了研究和应用的新热点。通过运用分割技术将病灶区域精确地从医学图像中分离

出来，这一技术有力地辅助医务工作者进行快速、准确的检查、诊断及后续治疗规划。

本文专注于胸部X射线和肺炎CT图像的分割任务，旨在解决现有医学图像分割模

型中低精度和高参数量的问题。本文提出了一系列针对性解决方案，优化不同

Transformer变体建立即高效又轻量化的分割模型。本文的核心研究工作包括：

(1)首先，本文优化一种由SwinTransformer构成的纯TransformerU型分割模型提

升分割精度。将SwinTransformer作为模型骨干，并通过设计额外的跳跃连接以及特殊

的融合技术来整合不同尺度的特征信息，在仅略微增加参数量的情况下，显著提高了

模型的分割精度。

(2)为进一步提升精度并加快模型的收敛速度，本文提出一种结合多种Transformer

变体的U型分割模型。该模型针对局部空间自注意力机制和动态灵活可变形的注意力

进行优化，充分利用了SwinTransformer和DeformableTransformer各自的优势，将两

种Transformer地有机结合，构建的模型不仅在精度显著提升，同时也实现了更快的收

敛速度。

(3)最后，为进一步减少模型的复杂度和内存消耗，本文提出一种基于Linear

Transformer的新型轻量化分割模型。通过融合LinearTransformer和众多轻量化操作如

深度可分离卷积，构建了以MobileViTv2s为特征提取器的轻量化分割模型。该模型针

对复杂的医学图像分割任务进行优化，使得模型FLOPs降低至原来的一半，参数量也

减少到前两部分设计的约三分之一，同时保持令人满意的分割精度。

关键词：U型分割模型；Transformer变体；局部空间自注意力；可变形的注意力；

LinearTransformer

ResearchonOptimizationofImageSegmentationModelsBased

onTransformers

Major:ElectronicInformation

Masterstudent:WeishouJin

Supervisor:Assoc.Prof.YongpingDan、SEChangpingTang

Abstract

Asartificialintelligencetechnologyrapidlyadvances,imagesegmentationisgarnering

increasingattention,particularlyintherealmofmedicalimaging.Medicalimagesegmentation,

whichmergesmedicalimagingwithadvancedAIimageprocessingtechniques,hasemergedas

anewfocusforbothresearchandapplication.Byutilizingsegmentationtechnologytoprecisely

isolateareasofinterestfrommedicalimages,t