半监督从 2D 自然图像预训练模型进行 3D 医学分割.pdfVIP

半监督从2D自然图像预训练模型进行3D医学分割

Pak-HeiYeung,JayroopRamesh,PengfeiLyu,AnaNamburete,and

JagathRajapakse

CollegeofComputingandDataScience,NanyangTechnologicalUniversity,

Singapore

pakhei.yeung@.sg

OxfordMachineLearninginNeuroImagingLab,UniversityofOxford,United

Kingdom

FacultyofRobotScienceandEngineering,NortheasternUniversity,China

本

译项目页面

中

1摘要本文探讨了将基于2D自然图像预训练的通用视觉模型的知识转移

v到改进3D医学图像分割的技术。我们专注于半监督设置，其中只有少量

7

6带有标签的3D医学图像可用，并且有一大批未标记的图像。为了应对这

1一挑战，我们提出了一种模型不可知框架，该框架逐步将2D预训练模型

5

1的知识蒸馏到从零开始训练的3D分割模型中。我们的方法MN涉及通

.过伪掩模进行两模型迭代协同训练，这些伪掩模由彼此生成，并结合了我

9

0们提出的自适应调整学习率引导采样技术，以根据模型的预测准确性和稳

5定性在每个训练批次中动态调整有标签和无标签数据的比例，从而尽量减

2

:少不准确的伪掩码带来的负面影响。在多个公开可用的数据集上的广泛实

v

i验表明，MN实现了最先进的性能，在所有不同设置下均优于现有的十

x三种半监督分割方法。重要的是，消融研究表明保持了模型不可知性，允

r

a许无缝集成不同的架构。这确保了其在更先进的模型出现时的适应能力。

代码可在/pakheiyeung/M-N处获取。

Keywords:知识蒸馏·半监督分割·域适应。

1介绍

深度学习的出现显著提升了三维医学图像分割的表现，这无疑是医学图

像分析中最重要的任务之一。然而，从零开始训练一个深度学习模型通常需

要大量的标注数据，在医学领域这是一个主要瓶颈[28]。相比之下，其他领

域的标注数据较为丰富，例如2D自然图像，在这些领域已经整理和利用了

2PH.Yeungetal.

大量数据集[5,31]来训练强大的视觉模型[25]。这些预训练的模型在各种计

算机视觉任务中展示了显著的能力。受到这些模型成功的启发，本文探讨了