NEARL-CLIP: 带正则化的交互式查询适配在医学视觉语言理解中的应用.pdfVIP

NEARL-CLIP:带正则化的交互式查询适配在

医学视觉语言理解中的应用

111234

ZelinPeng,YichenZhao,YuHuang,PiaoYang,FeilongTang,ZhengqinXu,

11()

XiaokangYang,andWeiShen

1MoEKeyLabofArtificialIntelligence,AIInstitute,SchoolofComputerScience,

ShanghaiJiaoTongUniversity

2DepartmentofRadiology,TheFirstAffiliatedHospital,SchoolofMedicine,ZhejiangUniversity

3MohamedbinZayedUniversityofArtificialIntelligence

4StateKeyLaboratoryofInfraredPhysics,ShanghaiInstituteofTechnicalPhysics,

本ChineseAcademyofScience

译

中I.介绍

1医学影像分析（例如，疾病分类）是生物医学领域

v

摘要—计算机辅助的医学图像分析对于疾病诊断和治疗计

1的重要基石[3]–[9]，支持诸如疾病诊断和治疗计划等关

0划至关重要，然而有限的标注数据集限制了医疗特定模型的发

1展。尽管像CLIP这样的视觉语言模型（VLM）提供了强大键临床应用。尽管手动分析长期以来一直是勾画解剖结

4的泛化能力，但显著的领域差距阻碍了它们在医学成像分析中构和病理性区域的金标准，但它耗时、劳动密集且高度

0

8.的直接应用。现有方法试图弥补这一差距，包括提示学习和单模依赖专家知识。这些挑战进一步限制了大规模、注释良

0态交互技术，通常侧重于向单一模态引入领域知识。虽然这可好的生物医学影像数据集的创建，这对于开发稳健的医

5

2能带来性能提升，但它往往导致模态不对齐，从而无法充分发疗特定模型以推进计算机辅助医学影像分析至关重要。

:挥VLM的潜力。本文提出近似-剪辑（iNteractedquEry

v鉴于大型标注数据集在医学影像监督学习中的

iAdaptationwithoRthogonaLlRegularization），一种新

x稀缺性，研究人员越来越多地转向视觉语言模型

r颖的跨模态交互VLM基础框架，包含两个贡献：（1）统一协

a同嵌入转换器（USEformer），动态生成跨模态查询以促进模（VLMs），这些模型预先训练了大量图像文本数据，例

态间的互动，从而推动多模态医疗领域知识的相互丰富和增强；如CLIP[10]。这些模型在零样本和少量样本场景中表

（2）正交交叉注意力适配器（OCA）。OCA引入了一种正交技现出惊人的泛化能力，这主要归功于它们的广泛预训

术来将USEformer中的新知识解耦为两个独立组成部分：真练。然而，由于领域差异[11]，这些模型直接应用于医

正新颖的信息和增量知识。通过隔离学习过程以避免增量知识干

学影像分析受到了阻碍。这种差距存在是因为这些模型