您的其他左侧!视觉-语言模型未能识别医学图像中的相对位置.pdfVIP

您的其他左侧!视觉-语言模型未能识别医学图像中的相对位置.pdf

此“医疗卫生”领域文档为创作者个人分享资料,不作为权威性指导和指引,仅供参考
  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

发表于MICCAI2025

您的其他左侧!

视觉-语言模型未能识别医学图像中的相对位置

DanielWolf,HeikoHillenhagen,BillurvanTaskin,AlexBäuerle,

MeinradBeer,MichaelGötz,andTimoRopinski

VisualComputingGroup,InstituteofMediaInformatics,UlmUniversity,Germany

DiagnosticandInterventionalRadiology,UlmUniversityMedicalCenter,Germany

AxiomBio,USA

*

SharedLastAuthorship

本daniel.wolf@uni-ulm.de

中摘要临床决策在很大程度上依赖于理解解剖结构和异常的相对位置。因

2此,为了让视觉语言模型(VLMs)在临床实践中应用,准确确定医学图像

v

9中相对位置的能力是一个基本前提条件。尽管这一点非常重要,但这种能

4力仍然高度未被探索。为了解决这一空白,我们评估了最先进的VLMs,

5包括GPT-4o、Llama3.2、Pixtral和JanusPro,并发现所有模型都无法完

0

0成这项基础任务。受计算机视觉中成功方法的启发,我们研究了放置在解

.

8剖结构上的字母数字或彩色标记等视觉提示是否能提高性能。虽然这些标

0记提供了适度改进,但在医学图像上的结果与自然图像上观察到的结果相

5

2比仍然显著较低。我们的评估表明,在医学成像中,VLMs更多地依赖于

:先验的解剖知识而非实际的图像内容来回答相对位置问题,这通常会导致

v

i错误结论。为了促进该领域的进一步研究,我们引入了MIRP——Medical

x

rImagingRelativePositioning(医学影像相对定位)基准数据集,旨在系

a统评估识别医学图像中相对位置的能力。数据集和代码可在我们的项目页

面获取。

Keywords:视觉语言模型·相对位置·CT.

1介绍

设想一个放射科部门,其中视觉语言模型(VLM)支持复杂任务,如放射

学报告生成或手术规划。这些系统可以减少诊断错误并改善患者预后[5,37]。

虽然VLM已经在简单的诊

文档评论(0)

专业Latex文档翻译 + 关注
实名认证
服务提供商

专业Latex文档翻译,完整保持文档排版,完美处理文档中的数学公式和图表等元素,并提供 arXiv Latex 论文中文翻译。

1亿VIP精品文档

相关文档