超图曼巴用于高效的整体幻灯片图像理解.pdfVIP

超图曼巴用于高效的整体幻灯片图像理解

1∗2∗2∗11

JiaxuanLu,YuhuiLin,JunyanShi,FangYan,DongzhanZhou,

31†

YueGao,XiaosongWang

1ShanghaiArtificialIntelligenceLaboratory

2Xi’anJiaotong–LiverpoolUniversity

3TsinghuaUniversity

lujiaxuan@,wangxiaosong@

Abstract多示例学习（MIL）(Li,Li,andEliceiri2021;Tang

etal.2023;Yaoetal.2020;Luetal.2024)已成为理

全切片图像（WSIs）在组织病理学中由于其超高的分辨

解全幻影像（WSI）的标准范式。在MIL中，全幻影

率、巨大的规模和复杂的空间关系，对广泛的医学影像分

本析提出了重大挑战。尽管现有的多实例学习（MIL）方法像被表示为一组实例（即，切片），并且标签仅在幻灯

译如图神经网络（GNNs）和变压器展示了强大的实例级别片级别作为弱监督可用。这种表述促进了各种实例级

中建模能力，但它们在可扩展性和计算成本方面遇到了限建模策略的发展，包括基于注意力的机制(Zhengetal.

制。为了克服这些局限性，我们引入了WSI-HGMamba2020;Weitzetal.2021;Zhangetal.2024)、图神经网

2这一新颖框架，它将超图神经网络（HGNNs）的高阶关络（GNNs）(Zhaoetal.2020;Chenetal.2021a;Chan

v

7系建模能力和状态空间模型的线性时间顺序建模效率统etal.2023;Yuetal.2024)、转换器(Chenetal.2021b;

5一起来。我们的设计核心是HGMamba模块，该模块集Lietal.2024)和图转换器(Zhengetal.2022;Shirzad

4成了消息传递、超图扫描和平铺以及双向状态空间建模etal.2023;Shietal.2024b)。此外，超图神经网络

7

1（Bi-SSM），使模型能够保留关系和上下文线索的同时保（HGNNs）由于其强大的建模高阶关系的能力而越来越

.持计算高效。与变压器和图变压器相比，WSI-HGMamba

5受欢迎，这种能力超越了GNNs的简单成对连接。通

0实现了高达的FLOPs减少，并表现出更优性能。在过使用超边连接多个节点，HGNNs可以自然地在一个

5多个公开和私有WSI基准上的广泛实验表明，我们的

2方法提供了一种可扩展、准确且高效的切片级别理解解计算单元内建模复杂的结构相关性，如腺体模式、肿瘤

:

v决方案，使其成为下一代病理AI系统的有前景的基础