RadAlign：通过视觉语言概念对齐推进放射学报告生成-计算机科学-机器学习-视觉语言模型-医学图像解读.pdfVIP

RadAlign：通过视觉语言概念对齐推进放射学报告

生成

DifeiGu,YunheGao,YangZhou,MuZhou,andDimitrisMetaxas

RutgersUniversity

StanfordUniversity

摘要医学图像解释和报告生成对于放射科医生识别并传达疾病可见发现

至关重要。图像到报告的生成需要大量的语言模型训练，但仍会受到事实

本错误的影响。在这项研究中，我们介绍了RadAlign，展示了基于概念的视

译觉-语言模型可以在不进行大量语言模型训练的情况下提高预测准确性和

中报告的事实正确性。我们的关键创新在于将视觉特征与医疗诊断标准在共

享表示空间中对齐。这种对齐引入了核心知识监督，并为LLMs创建可解

2释的中间诊断结果以改进报告生成。我们还提出了一种跨模态检索机制，

v

5提供历史病例的额外临床背景以提高报告生成的准确性。这一统一方法在

2MIMIC-CXR上实现了卓越的疾病分类（平均AUC：0.885）并能准确生成

5

7报告（GREEN分数：0.678vs.SOTA：0.634）。RadAlign还展示了出色的泛

0化能力，在外部OpenI数据集上优于SOTA基础和专业模型（AUC：0.923

.

1vs.0.836）。代码可在/difeigu/RadAlign获取。

0

5

2

:Keywords:视觉语言模型·视觉概念学习·放射学报告生成。

v

i

x

r

a1介绍

医学图像解读和报告生成在临床工作流程中起着至关重要的作用，可以直接

影响疾病特征的描述和患者护理[14]。例如，胸部X光片的解读[17]仍

然是一个关键任务，在此过程中，临床医生必须识别细微的异常并将其转化

为精确的疾病分类，并编写详细的报告。完成这一复杂的任务需要系统性的

努力来捕捉疾病的详细状态，并生成全面、有理有据的这些临床发现的解释

[24]。

关于胸部放射图像解释的主要研究分为分类模型[30,3,2]和图像字幕方法

[4,11]。首先，分类方法基于深度神经网络[9,2,30]和视觉转换器[7,18]来展

示在检测肺炎、心脏扩大和肺水肿方面的诊断精度。然而，这些模型作为黑

2DifeiGu,YunheGao,YangZhou,MuZhou,DimitrisMetaxas

DiagnosticCriteria

...theheartsizeisnormal,and