SurgX：用于可解释手术阶段识别的神经元概念关联-计算机科学-机器学习-手术阶段识别-内窥镜视频-可解释性.pdfVIP

SurgX：用于可解释手术阶段识别的神经元概念关联

KaYoungKim,HyeonBaeKim,andSeongTaeKim

KyungHeeUniversity,Yongin,RepublicofKorea

{uwrgoy7584,hyeonbae.kim,st.kim}@khu.ac.kr

摘要手术阶段识别在手术工作流分析中起着关键作用，使各种应用如手

术监控、技能评估和工作流程优化成为可能。尽管基于深度学习的手术阶

段识别取得了显著进展，这些模型仍然本质上不透明，使得理解它们如何

本做出决策变得困难。这种缺乏可解释性阻碍了信任，并且使得调试模型颇

译具挑战性。为了解决这一问题，我们提出了SurgX，这是一种新颖的概念

基础解释框架，通过将神经元与相关概念关联来增强手术阶段识别模型的

中可解释性。在本文中，我们介绍了选择代表性的示例序列以供神经元使用

1的过程，构建了一个专门针对手术视频数据集的概念集，将神经元与概念

v关联，并确定了对预测至关重要的神经元。通过在两个手术阶段识别模型

8

1上的广泛实验，我们验证了我们的方法并分析了预测的解释。这突显了我

4们在解释手术阶段识别方面的方法潜力。代码可在/

5ailab-kyunghee/SurgX获取。

1

.

7

0Keywords:手术阶段识别·内窥镜视频·可解释性·解释能力·神

5经元-概念关联

2

:

v

i1介绍

x

r

a

手术工作流程分析对于计算机辅助手术至关重要，因为它使外科人工智

能系统能够理解手术过程中固有的顺序和时间动态性[14,17,21]。手术阶段

识别是手术工作流程分析中的关键任务之一，将手术视频帧分类到其各自阶

段。反映其临床重要性，越来越多的研究集中在开发先进的基于深度学习的

手术阶段识别模型上[4,5,15,16,26]。

尽管深度学习模型在手术阶段识别方面取得了显著进展，但它们仍然面

临着由其固有的“黑箱”性质带来的持续挑战，这指的是难以解释这些模型

如何处理信息和做出决策的困难。主要的挑战在于信任模型决定的难度。在

手术领域，为了符合欧盟通用数据保护条例（GDPR）[23,25]等法规的要求，

通讯作者

2Kimetal.

需要模型具有透明的决策过程，强调了对模型决策进行充分解释的需求。如

果我们无法确定模型学习到了哪些概念以及为什么做出某些决定，那么有效

改进模型和信任其决定就会成为一个重大挑战。这种挑战在基于视频的模型

中进一步加剧，因为这些模型固有的时间依赖性和复杂性。

之前的基于概念的可解释性研究对于图像模型表明，深度网络中的神

经元倾向于与人类可理解的概念对齐[1,3,9,12,11]。最早的几种方法之一，

NetworkDissect[3]通过计算像素级分割掩模和单个神经元特征图之间的

重叠将神经元关联到人类可理解的概念上。为了解决昂贵的分割掩模数据

集稀缺的问题，Oikarinen等。提出了利用