AURA：一个用于理解、推理与注释的多模态医疗代理-计算机科学-AI 代理-视觉-语言基础模型.pdfVIP

AURA：一个用于理解、推理与注释的多模态医疗

代理

NimaFathi,AmarKumar,andTalArbel

CenterforIntelligentMachines,McGillUniversity,Montreal,Canada

Mila-QuebecAIinstitute,Montreal,Canada

nima.fathi@mila.quebec

摘要大型语言模型（LLMs）的最近进展促进了从静态预测系统到代理AI

本的范式转变——这些智能代理能够推理、与工具互动并适应复杂任务。

译尽管LLM代理系统在许多领域显示出前景，但其在医学成像领域的应用

中仍处于起步阶段。

在这项工作中，我们介绍了Aura，这是首个专为全面分析、解释和评估医

1

v学图像设计的视觉语言可解释性代理。

0通过实现动态交互、情景化解释和假设检验，Aura代表了向更加透明、适

4应性和临床对齐的人工智能系统的重大进步。

9

6这项工作突显了代理AI在将医疗影像分析从静态预测转变为互动决策支

1持方面的潜力。

.

7借助基于LLM的架构Qwen-32B，Aura集成了一个模块化的工具箱，包

0

5括：(i)包含相位定位、病理分割和解剖结构分割的分段套件，以定位具有

2临床意义的区域；(ii)一种反事实图像生成模块，支持通过图像级解释进

:

v行推理；以及(iii)一套评估工具，包括像素级差异图分析、分类及先进的

i最先进组件，用于评估结果的诊断相关性和视觉可解释性。

x

r3

我们的代码可以通过项目网站访问。

a

Keywords:AI代理·反事实图像生成·可解释性·生成建模·视觉-

语言基础模型。

1介绍

传统的人工智能模型在医学影像领域经常无法满足实际临床实践的需

求。理想情况下，人工智能系统应该能够独立推理，识别出何时缺乏足够的

背景信息，并动态地使用各种工具——这就像临床医生在复杂的诊断场景中

3https://nimafathi.github.io/AURA/

2N.Fathietal.

所做的那样。然而，传统的医学影像AI通常是刚性的，专为特定任务设计，

具有固定的输入和输出。这种灵活性的缺失使得这些系统无法适应变化的临

床情况。当面对模糊的发现、不熟悉的疾病或不完整的信息时，这些模型不

能要求提供额外细节、收集更多信息或修订其结论[22,23]。因此，它们在可

解释性、适应性和获得临床信任方面都表现不足。代理人工智能提供了有希

望的替代方案，提供的不仅是能够处理特定任务的模型，还能够在不确定性

中进行推理，生成清晰的视觉和语言解释（VLEs），通过反事实模拟测试假

设，并与临床医生互动协作。通过