SAMed-2-选择性记忆增强的医疗分段任何模型-计算机科学-图像编码器-医学图像分割.pdfVIP

SAMed-2:选择性记忆增强的医疗分段任何模型

ZhilingYan,SifanSong,DingjieSong,YiweiLi,RongZhou,Weixiang

Sun,ZhennongChen,SekeunKim,HuiRen,TianmingLiu,

QuanzhengLi,XiangLi,LifangHe,andLichaoSun

LehighUniversity,Bethlehem,PA,USA

MassachusettsGeneralHospitalandHarvardMedicalSchool,Boston,MA,USA

UniversityofGeorgia,Athens,GA,USA

UniversityofNotreDame,NotreDame,IN,USA

本

译摘要最近的“分割一切”努力通过从大规模数据中学习显示出前景，但将

中此类模型直接适应医学图像仍具有挑战性，这主要是由于医学数据的复杂

性、嘈杂的注释以及跨不同模态和解剖结构进行持续学习的需求。在这项

1工作中，我们提出了SAMed-2，这是一个基于SAM-2架构构建的新基础

v

8模型，用于医学图像分割。具体而言，我们在图像编码器中引入了一个时

9间适配器来捕捉图像关联，并引入了一个信心驱动的记忆机制来存储高确

6

3定性的特征以供后续检索。这种基于记忆的策略对抗了大规模医学数据集

0中的广泛噪声，并减轻了在遇到新任务或模态时灾难性遗忘的问题。为了

.

7训练和评估SAMed-2，我们整理了MedBank-100k，这是一个涵盖七种成

0像模态和21个医学分割任务的综合数据集。我们在内部基准测试和十个外

5

2部数据集上的实验表明，在多任务场景中，我们的方法优于最先进的基线

:模型。代码可在：/ZhilingYan/Medical-SAM-Bench

v

i获取。

x

r

a

1介绍

医学图像分割在临床实践中起着至关重要的作用，支持疾病诊断、手术

规划和治疗评估[12]。传统的卷积神经网络（CNNs）[16]，例如U-Net[18]及

其变体[8,2]，在特定任务和单一成像模式中已被证明是有效的，但它们通

常需要大量的标注数据集并且每项新应用都需要大量重新训练。这种限制经

常阻碍实际部署，考虑到数据标注的高成本以及医学影像模态的多样性。