UltraAD：通过少量样本 CLIP 适应进行细粒度超声异常分类.pdfVIP

UltraAD：通过少量样本CLIP适应进行细粒度超

声异常

分类

YueZhou,YuanBi,WenjuanTong,

WeiWang,NassirNavab,andZhongliangJiang

ComputerAidedMedicalProcedures(CAMP),

TUMunich,Germany

zl.jiang@

本MunichCenterforMachineLearning(MCML),Munich,Germany

译TheFirstAffiliatedHospitalofSunYat-SenUniversity,Guangzhou,China

中

2摘要精确的医学图像异常检测对于临床决策至关重要。虽然最近在大规模

v

4正常数据上训练的无监督或半监督异常检测方法显示出有希望的结果，但

9它们缺乏细粒度区分能力，例如良性与恶性肿瘤的区别。此外，超声（US）

6

9成像对设备和采集参数的变化非常敏感，在最终的US图像中造成了显著

1的领域差距。为了解决这些问题，我们提出了UltraAD，一种基于视觉-

.

6语言模型（VLM）的方法，利用少量示例进行泛化的异常定位和细粒度分

0类。为了提高定位性能，查询视觉原型的图像级别标记首先与可学习的文

5

2本嵌入融合。这个受图像信息启发的提示特征然后进一步整合到块级别标

:记中，优化局部表示以提高准确性。对于细粒度分类，从少量示例图像及

v

i其对应的文字描述中构建了一个内存库，这些文字描述捕捉解剖和异常特

x

r异性特征。在训练期间，存储的文本嵌入保持冻结，而图像特征则适应以更

a

好地与医学数据对齐。UltraAD已经在三个乳腺超声数据集上进行了广泛

评估，在病变定位和细粒度医疗分类方面均优于最先进的方法。项目页面：

https://karolinezhy.github.io/UltraAD/

Keywords:超声图像分析·异常检测·少样本适应

1介绍

医学超声（US）是一种广泛用于检查内脏器官（如乳房和甲状腺）的成像方

式，因为它具有实时能力、非辐射性和易获取性。在偏远或低收入地区，它

往往是唯一的诊断工具。然而，由于成像设备和采集参数的不同[4,16]，超

2YueZhouetal.

声图像经常受到质量低下和显著领域变异的影响，这对理解超声