基于超图卷积网络的病理学全切片图像分类方法研究.pdf

中文摘要

鉴于病理学全切片图像(WholeSlideImage,WSI)具有高分辨率、多尺度和像素级

标签难以获得等特点，预测WSI的标签和定位感兴趣区域(RegionOfInterest,ROI)在

计算病理学领域中是一项具有挑战性的任务。现有的方法主要是基于多示例学习及

其变体。然而，此类算法主要将WSI中的图像块视为独立样本并在单一尺度上执行，

因此无法充分利用图像块之间的依赖关系和多尺度异构信息来更精确地实现WSI分

类和ROI定位。

针对上述问题，本文提出了一种基于上下文感知注意力融合自适应超图卷积网

络(Context-awareAttentionFusionAdaptiveHypergraphConvolutionalNetwork,CAF-

AHGCN)模型来实现WSI分类。CAF-AHGCN模型利用超图来建立WSI的局部和全

局拓扑结构，并以分层特征融合的方式将超图嵌入表示与基于注意力机制的多示例

学习池化模块相结合，来充分利用图像块之间的高阶上下文信息进行WSI预测和热

图可视化。此外，本文提出的自适应超图卷积网络来随着模型的深入动态地调整超图

节点之间的相关强度。Poly-1损失函数和残差连接也被应用来提高CAF-AHGCN模

型的泛化能力和防止过度平滑的问题。最后我们在CAMELYON16和TCGA-NSCLC

两个数据集上验证了CAF-AHGCN模型的优越性。实验结果表明，我们的模型在两

个测试集上的平均准确率、AUC和F1分数分别为92.1%/0.941/0.887和

90.2%/0.953/0.891，均优于其他先进的算法。并且CAF-AHGCN模型获得的热图与

WSI级注释具有良好的一致性。

尽管CAF-AHGCN模型能够自适应地建立WSI中图像块之间的高阶关系，但是

却局限于单一尺度，不能更全面地捕捉到WSI中的上下文细节感知信息和提供更丰

富的WSI级特征表示。因此，本文提出一种基于异构子图引导的多尺度图注意力融

合网络(HeterogeneousSubgraph-GuidedMultiscaleGraphAttentionFusionNetwork,

HSG-MGAFNet)模型用于WSI的可解释性预测。HSG-MGAFNet模型首先在两个尺

度上分别利用图和超图来模拟WSI的层次上下文信息，其次构建不同尺度上重要图

像块之间的异构子图，来自适应地融合两个分支上的WSI级特征信息从而实现WSI

分类和定位病灶。此外，门控融合层被设计来提高节点特征表示的有效性。并且在两

个分支网络上应用自监督对比学习，以最大限度地提高WSI在两个尺度上预测的一

致性。实验结果表明，HSG-MGAFNet模型在CAMELYON16和TCGA-NSCLC两

I

个测试集上的平均准确率、AUC和F1分数分别可以达到92.7%/0.951/0.892和

92.2%/0.957/0.919。HSG-MGAFNet模型不仅优于其他先进的算法，而且生成的多尺

度热图能够相互补充，从而更准确地定位阳性区域。

关键词：多示例学习；全切片图像；超图卷积网络；多尺度；注意力机制

II

ABSTRACT

Inviewofthecharacteristicsofpathologicalwholeslideimage(WSI)suchashigh

resolution,multiscaleanddifficultyinobtainingpixel-levellabel,predictingthelabelof

WSIandlocatingtheRegionOfInterest(ROI)isachallengingtaskincomputational

pathology.Theexistingmethodsare