基于自监督学习的医学影像分割研究.pdfVIP

摘要

摘要

将深度学习和神经网络理论应用于医学影像分割一直是计算机视觉应用领域

一项经典任务，其不仅大大的提升了医生工作效率，而且可以缓解医疗资源分布

不均的矛盾。然而由于医学图像标注需要特定专业知识、标注时间长、病人隐私

等原因，医学图像稀缺性成为一大问题。因此使用有限的标注数据甚至无标签数

据训练鲁棒的医学影像分割模型成为诊断系统核心。

近年来，自监督学习通过在大量无标签样本上进行预训练得到通用的图像表

征，之后利用少量有标签样本进行微调，其在半监督和无监督医学图像分割不断

取得state-of-the-art效果且天然的适合于医学临床背景受到了广泛关注。然而，将

自监督学习应用于医学影响分割将面临以下问题：第一，自监督对比学习类坍塌

问题：即将同一个批次中的采样得到的样本都当做负样本，那么很大概率负样本

集中存在语义一致的样本，这在如像素级别分类的语义分割任务更为难以接受。

第二，对于医学影像分割这一下游任务，哪一个或多个任务对其有效是自监督学

习应用医学影像分割关键。第三，对比学习的监督式信号仅来自一对数据增强的

正样本，这对无监督语义分割学习语义信息并不充分。

本文针对少量标注下甚至无标注下的医学影像分割问题，建立了基于自监督

学习、半监督学习和对比学习的医学影像分割方法。具体工作如下：

1.提出一种新颖的由伪标签引导的类感知半监督学习框架。首先通过有效地

融合伪标签和源图像来提取类感知小块，接着引入层次数据增强模块来学习层次

不变性来缓解类冲突的问题，在多个公开数据集上的测试证明了本方法的有效性。

2.提出一种新型基于VisionTransformer（ViT）的多任务自监督预训练框架

（MultiTaskSelf-SupervisedLearning,MTSSL）。首先探讨不同自监督代理任务对

下游医学分割任务的影响，最终提出掩码图像预测、掩码块对比、混合插值一致

性三个混合代理任务的自监督预训练框架，并在BTCV和MSD两个公开数据集上

验证所提出框架的优越性。

3.自监督ViT下特征一致性的分割算法研究。首先分析自监督对比学习仅通

过数据增强的正样本来提供监督信号并不充分，接着第四章研究基础上，进一步

挖掘对比学习中隐藏的一致性，并基于空间位置邻近的样本更有可能语义一致性

这一假设，进一步挖掘图像的局部一致性。在多个数据集上测试相比其它自监督

学习方法有了进一步提升。

关键词：自监督学习，半监督学习，医学影像分割，对比学习

I

ABSTRACT

ABSTRACT

Applyingdeeplearningandneuralnetworktheorytomedicalimagesegmentation

hasalwaysbeenaclassictaskinthefieldofcomputervisionapplications.Itnotonly

greatlyimprovesdoctorsworkefficiency,butalsoalleviatesthecontradictionof

unevendistributionofmedicalresources.However,becausemedicalimageannotation

requiresspecificprofessionalknowledge,takesalongtimetoannotate,andpatient

privacy,thescarcityofmedicalimageshasbecomearobustmajorproblem.Therefore,

usinglimitedannotateddataorevennolabelstotrainmedicalimagesegmentation

modelhasbecomethecoreofthediagnosticsystem.

Inrecentyears,self-superv