乳腺-SAE: 使用稀疏自动编码器解释乳腺癌概念学习-计算机科学-稀疏自动编码器-解释型人工智能-医学成像.pdfVIP

乳腺-SAE:使用稀疏自动编码器解释乳腺癌概念学习

KrishnaKanthNakka

krishkanth.92@

https://krishnakanthnakka.github.io

摘要可解释性在医学成像等高风险领域至关重要，理解模型决策对于临

床应用是必不可少的。在这项工作中，我们通过分析预训练在大规模乳腺

影像-放射学报告对上的视觉-语言基础模型钼靶-CLIP，介绍了基于稀疏自

本编码器（SAE）的可解释性到乳腺成像中。我们在Mammo-CLIP视觉特

征上训练了一个patch级别的钼靶-SAE来识别和探测与临床上相关的乳

译腺概念如质量和可疑钙化相关的潜在神经元。我们展示了top激活的class

中级别潜在神经元往往与ground-truth区域对齐，并且还揭示了影响模型决

1策过程的几个混淆因素。此外，我们证明了微调Mammo-CLIP导致潜在

v空间中的概念分离更清晰，从而提高了可解释性和预测性能。我们的研究

7

2结果表明，稀疏潜在表示为理解乳腺基础模型的内部行为提供了一个强大

2的视角。

5

1

.Keywords:稀疏自动编码器·解释型人工智能·乳腺癌·乳房成像

7

0

5

21介绍

:

v

i在医疗保健等高风险领域，机器学习模型不仅需要准确，还需要可解

x

r释。为了提高乳腺成像的透明度，先前的研究提出了事后可解释性方法——

a

如GradCAM变体[18,12,8]以及本质上可解释的架构，包括基于原型网络

的方法[1,17]。虽然这些工具在预测层面提供了有用的解释，但它们对模型

内部机制的洞察有限，特别是在单个神经元层面上。此外，先前的研究表明

深度网络中的神经元往往是多义的[16,3,14]即它们对多个不相关的概念做

出反应，这使得它们难以可靠地解释。

最近，稀疏自动编码器（SAEs）[2,4,13,10,6]在解释大型语言模型（LLMs）[20,21]方

面获得了显著的关注。在此进展的基础上，稀疏自动编码器也被适应用于视

觉语言模型[19,11]。稀疏自动编码器能够提取单义词特征——与可解释概

念相对应的潜在维度，并支持测试时干预，允许对模型行为进行受控探测和

操纵。值得注意的是，稀疏自动编码器可以在模型的任何一层中集成，提供

2K.K.Nakka

SpaceAutoencoder

Latent

neuron

OriginalReconstructed

patchfeaturepatchfeature