查询胃肠镜图像：一种 VQA 方法.pdfVIP

查询胃肠镜图像：一种VQA方法

GauravParajuli

JohannesKeplerUniversityLinz

Linz,Austria

students.jku.at

parajuligaurav007@

2025年7月30日

本

译ABSTRACT

中VQA（视觉问题回答）结合了自然语言处理（NLP）与图像理解来回答关于给定图像的问题。

1它对医疗诊断人工智能系统的开发具有巨大的潜力。这样的系统可以帮助临床医生准确高效

v地诊断胃肠疾病。尽管当今许多多模态的LLM在通用领域中拥有出色的VQA能力，但在医

5学影像等专业领域的VQA任务上表现非常差。本研究是提交给ImageCLEFmed-MEDVQA-GI

6

12025子任务1的研究成果，探讨了Florence2模型适应回答胃肠内镜图像上的医疗视觉问题

1的情况。我们还使用ROUGE、BLEU和METEOR等标准指标评估了模型性能。实验中使用

2

.的代码公开获取地址为：/gauravparajuli/ImageCLEFmed-MEDVQA-GI-2025-Task1。

7

0

5Keywords医学视觉问答Florence-2LoRAImageCLEFmed2025多模态人工智能监督微调临床问题回

2答消化系统成像Kvasir-VQA

:

v

i

x1介绍

r

a

胃肠道由消化系统中的所有主要器官组成，包括食道、胃和肠。

胃肠道容易受到各种异常黏膜状况的影响，从轻微的刺激到高度致命的疾病～[1,2]。全球每年报告约480万

新病例，导致大约340万人死亡～[3]，这突显了与胃肠疾病相关的高死亡率。

内窥镜是一种医疗程序，其中将一种称为内窥镜的细长装置直接插入体内以查看器官和其他结构。这使医生

能够诊断并在某些情况下无需手术即可治疗病情。尽管内窥镜是金标准程序，但由于操作员错误，结肠息肉

识别的漏诊率约为20%～[4,5]。

这突显了在医疗诊断中需要AI系统干预[6].医学视觉问答（MEDVQA）结合自然语言处理与图像理解来回

答与医学影像相关的诊断问题。这样的AI支持系统有望帮助医疗专业人员大规模地准确高效地提供高质量

护理。

尽管许多可用的多模态LLM在通用领域中开箱即可表现得相当不错，但在医学成像等专业领域的VQA任务

上，这些相同的LLM则遇到了很大的困难。这引发了对专业化医疗数据集进行监督微调的需求。本研究是

提交给ImageCLEFmedMEDVQA-GI2025子任务1的。它探讨了一般用途模型如何通过监督微调适应在医学

成像等专业领域中实现更好的性能。

SubmittedtoImageCLEFmedicalatCLEF2025

APREPRINT-2025年7月30日

2相关工作

在推进MEDVQA领域方面已经做出了许多努力。自2018年以来，年度ImageCLEFMEDVQA基准测试在

推动该领域发展方面发挥了关键作用。先前的MEDVQA方法结合了CNNs和BERT，并使用基于注意力的

融合进行放射图像处理[7,8,9]。此外，数据集缺乏对GI内镜的关注。然而，随着KVASI