动态蛇形卷积（Dynamic Snake Convolution）用于管状结构分割.pdfVIP

动态蛇形卷积（DynamicSnakeConvolution）用于管状结构分割

论文题目：

DynamicSnakeConvolutionbasedonTopologicalGeometricConstraintsforTubularStructure

Segmentation

简介

管状结构（例如血管、道路）是临床、自然界等各领域场景中十分重要的一种结构，其的精确

分割可以保证下游任务的准确性与效率。然而这并不是一个简单的任务，主要的挑战源于细长

微弱的局部结构特征与复杂多变的全局形态特征。

本文关注到管状结构细长连续的特点，并利用这一信息在神经网络以下三个阶段同时增强感

知：特征提取、特征融合和损失约束。分别设计了动态蛇形卷积（DynamicSnake

Convolution），多视角特征融合策略与连续性拓扑约束损失。我们同时给出了基于2D和3D

的方法设计，通过实验证明了本文所提出的DSCNet在管状结构分割任务上提供了更好的精

度和连续性。

思考

在开始介绍工作之前，我想和读者讨论下在大模型时代下，专用分割方法的价值。

随着SAM（SegmentAnything）[1]、UniversalModel[2]等一众非常优秀的分割基础模型

的提出，越来越多的分割目标只需要在大模型的基础上，直接测试或简单微调，就能够得到让

人十分满意的结果。这不免让人感到迷茫，继续做专用分割工作是否还有价值？后续的研究方

向是否是要去拼大模型？或者站在前人的肩膀上去研究如何将大模型微调到专用领域？

值得注意的是，仍存在一些复杂的领域，大模型还未能够很好的覆盖（也许只是时间问题）。

例如伪装目标、非显著性目标，以及本文所关注的特殊管状结构（占比小、特征弱且分布广）

等等。同时，当分割的对象上升到3D乃至4D的数据时，一些复杂的结构（3D的血管、气

管等）也困扰着大模型。当然，一些特殊的场景，需要非常高的精度，例如临床，1%的误差

对于诊断都有着非常大的危险。

因此，将专用模型与大模型相结合，会促进研究发展地更快、更好。大模型关注更多的是普适

性，通用性和便捷性，在此基础上，大模型针对性地补充领域专有的特征信息，能够更加快捷

地获得更高的精度。

挑战

▲图1.上图：显示了三维心脏血管数据集和二维遥感道路数据集，这两个数据集都旨在提取管状结构，但由于脆弱

的局部结构和复杂的全球形态，这项任务存在很多挑战。下图：标准卷积核旨在提取局部特征。在此基础上，可变

形卷积核丰富其应用，并适应不同目标的几何形态，但针对细长的管状结构容易丢失关注

管状结构的精确提取仍然具有挑战：

细长且脆弱的局部结构。如图1所示，细长的结构仅占整个图像的一小部分，像素的组成有

限。此外，这些结构容易受到复杂背景的干扰，因此模型很难精确分辨目标的细微变化，从而

导致分割出现破碎与断裂。

复杂且多变的全局形态。图1显示了细长管状结构复杂多变的形态，即使在同一张图像中也是

如此。位于不同区域的目标的形态变化取决于分支的数量、分叉的位置，路径长度以及其在图

像中的位置。因此当数据表现出未曾见过的形态特征时，模型倾向于过拟合到已见过的特征，

无法识别未见过的特征形态，从而导致泛化性较弱。

动机

受到DeformableConvolution[3]的启发，我们希望模型在学习特征的过程中，改变卷积核

的形状，从而关注管状结构的核心结构特点。由此衍生出很多工作[4][5]，并在视网膜血管的

分割工作中得到了应用。然而在我们的初期实验中发现，由于管状结构所占比例较小，模型不

可避免地失去对相应结构的感知，卷积核完全游离在目标以外。因此我们希望根据管状结构的

特点来设计特定的网络结构，从而指导模型关注关键特征。

方法

▲图2.完整框架图

动态蛇形卷积核（DynamicSnakeConvolution,DSConv）

我们希望卷积核一方面能够自由地贴合结构学习特征，另一方面能够在约束条件下不偏离目标

结构太远。在观察管状结构的细长连续的特征后，脑海里想到了一个动物——蛇。我们希望卷

积核能够像蛇一样动态地扭动，