基于自监督学习的医学影像异常检测.pdfVIP

第37卷第3期计算机辅助设计与图形学学报Vol.37No.3

2025年3月JournalofComputer-AidedDesignComputerGraphicsMar.2025

基于自监督学习的医学影像异常检测

1)1,2)*1)3)4)4)3)

王楠,林绍辉,齐福霖,陈玉珑,李珂,沈云航,马利庄

1)(华东师范大学计算机科学与技术学院上海200062)

2)(华东师范大学统计与数据科学前沿理论及应用教育部重点实验室上海200062)

3)(上海交通大学电子信息与电气工程学院上海200240)

4)(上海腾讯优图实验室上海200233)

(shlin@)

摘要:自监督学习(SSL)可以很好地捕捉关于不同概念的通用知识,有利于各种下游任务.针对自监督学习方法没

有充分利用医学图像的多模态特征等问题,提出一种考虑医学图像多模态互补信息的自监督学习方法——SLeM.该

方法首先将单个模态的图像均匀地划分为4个块,使用这些块随机组合构建多模态图像,不同的多模态图像被分配

不同的标签,使得多模态特征可以通过分类任务来学习;为了提取不同大小肿瘤的特征,在学习到的多模态特征后

加入上下文融合块;通过简单的微调将学到的特征转移到下游的多模态医学图像分割任务中.在公开数据集BraTS

2019和CHAOS上与JiGen,Taleb以及Supervoxel等具有代表性的多模态方法对比及消融实验结果表明,所提方法在

整个肿瘤区域的分割准确度提升了2.03个百分点,在肿瘤核心区域的分割准确度提升了3.92个百分点,在肿瘤增强

区域的分割准确度提升了1.75个百分点,并在视觉方面有较好的效果,明显优于其他方法.

关键词:自监督学习;多模态融合;医学图像分割;特征提取;多尺度卷积

中图法分类号:TP391.41DOI:10.3724/SP.J.1089.2023-00339

Self-SupervisedLearningforMulti-ModalMedicalImageSegmentation

WangNan1),LinShaohui1,2)*,QiFulin1),ChenYulong3),LiKe4),ShenYunhang4),andMaLizhuang3)

1)(SchoolofComputerScienceandTechnology,EastChinaNormalUniversity,Shanghai200062)

2)(KeyLaboratoryofFrontierTheoryandApplicationofStatisticsandDataScience,MinistryofEducation,EastChinaNormalUniversity,

Shanghai200062)

3)(SchoolofElectronicInformationElectricalEngineering,ShanghaiJiaoTongUniversity,Shanghai200240)

4)(TencentYouT