基于分布的掩码医疗视觉语言模型使用结构化报告.pdfVIP

基于分布的掩码医疗视觉语言模型使用结构化报告

ShreyankNGowda,RuichiZhang,XiaoGu,YingWeng,andLuYang

SchoolofComputerScience,UniversityofNottingham,NG81BBNottingham,

U.K.

DepartmentofComputerScienceandTechnology,SchoolofInformatics,Xiamen

University,Xiamen,361005,China

CHILab,UniversityofOxford,OX37DQOxford,U.K

SchoolofComputerScience,UniversityofNottinghamNingboChina,Ningbo,

315100,China

本shreyank.narayanagowda@nottingham.ac.uk

译

中摘要医学图像-语言预训练旨在将医学图像与临床上相关的文本对齐，以

1提高模型在各种下游任务上的性能。然而，现有模型通常难以处理医学数

v据中固有的变异性与模糊性，限制了它们捕捉细微临床信息和不确定性的

4

9能力。这项工作介绍了一种基于不确定性感知的医学图像-文本预训练模

7型，该模型增强了医学图像分析中的泛化能力。在此前方法的基础上并专

1注于胸部X光片，我们的方法利用大型语言模型（LLM）生成的结构化文

2

.本报告来增强图像数据的临床相关性。这些报告从疾病的定义开始，接着

7

0是“外观”部分以突出关键区域，并最终包含“观察结果”和“结论”，使

5模型预测与临床语义相结合。通过建模跨模式和单模式不确定性，我们的

2框架捕捉了医学图像和文本中固有的模糊性，从而在下游任务上产生改进

:

v的表现和表示。我们的模型在医学图像-文本预训练方面取得了显著进展，

i

x在多个下游任务上达到了最先进的性能。

r

a

Keywords:视觉语言·不确定性·胸部X光片

1介绍

随着深度学习的快速发展，医学中的计算机辅助诊断在各种模型架构中

取得了显著进展。然而，这些模型通常是在特定解剖结构或疾病类别上训练

的，在应用于新疾病时需要昂贵的数据标注和重新训练，这限制了它们更广

泛的应用性。尽管深度学习在大规模带标签的自然图像数据集[17,14]上蓬

勃发展，但标注医学图像则是一个更加耗时且成本高昂的过程。一种典型的

方法是先在ImageNet[8]等大型数据集上预训练，然