无注释的病理学中视觉语言模型的轻松专业化.pdfVIP

JournalofMachineLearningResearch(2025)1-1Submitted;Published

无注释的病理学中视觉语言模型的轻松专业化

JingnaQiujingna.qiu@fau.de

NishanthJainnishanth.jain@fau.de

Friedrich-Alexander-UniversitätErlangen-Nürnberg,Erlangen,Germany

JonasAmmelingjonas.ammeling@thi.de

IngolstadtUniversityofAppliedSciences.Ingolstadt,Germany

MarcAubrevillemarc.aubreville@hs-flensburg.de

FlensburgUniversityofAppliedSciences,Flensburg,Germany

KatharinaBreiningerkatharina.breininger@uni-wuerzburg.de

本Julius-Maximilians-UniversitätWürzburg,Würzburg,Germany

译

中

Editor:

1

v

5

3Abstract

8

7最近在组织病理学中关于cro:vlmVision-LanguageModels(VLMs)的进展，例如CONCH

0

.和QuiltNet，已经展示了跨各种任务的令人印象深刻的零样本分类能力。然而，它们通用

8

0的设计可能导致在特定下游应用中的性能不佳。虽然监督微调方法解决了这一问题，但它

5们需要手动标记的样本来进行调整。本文研究了通过继续预训练来实现VLMs的无注释适

2

:应，这些预训练是基于从现有数据库中提取的相关领域和任务图像-标题对进行的。我们在

v

i两个VLMs，即CONCH和QuiltNet，在三个下游任务上的实验表明，这些配对显著提升

x

r了零样本和少量样本的表现。值得注意的是，随着训练规模的增大，继续预训练可以达到

a

与少量样本方法相当的性能，同时消除了手动标注的需求。其有效性、任务无关的设计以

及无注释的工作流程使其成为将VLMs适应新组织病理学任务的一种有前景的方法。代码

可在/DeepMicroscopy/Annotation-free-VLM-specialization获取。

Keywords:视觉-语言模型，组织病理学，任务适应

1介绍

cro:vlmVision-LanguageModels(VLMs)整合图像和文本描述以改进表示学习。它们在

自然图像数据集上的成功推动了其适应用于组织病理学图像分析。几种专门针对组织病理

学的VLMs已被开发，包括PLIP(Huangetal.(2023))、QuiltNet(Ikezogwoetal.(2023))

和CONCH(Luetal.(2024))。PLIP和QuiltNet对CLIP进行微调(Radfordetal.

(2021))，其中PLIP使用来自病理学家Twitter讨论中的图像-标题配对，而QuiltNet则利