自监督超声视频分割与特征预测及 3D 局部损失-计算机科学-自监督学习-超声成像.pdfVIP

自监督超声视频分割与特征预测及3D局部损失

EdwardEllis,RobertMendel,AndrewBulpitt,NasimParsa,Michael

FByrne,andSharibAli

SchoolofComputerScience,UniversityofLeeds,Leeds,UK,LS29JT

DovaHealthIntelligenceInc.,Vancouver,Canada,V6B2W9

摘要获取和标注超声成像中的大数据集具有挑战性，由于对比度低、噪

声高以及易受伪影影响。这一过程需要大量的时间和临床专业知识。自监

本督学习（SSL）通过利用未标记的数据来学习有用的表示形式，为解决此

译问题提供了有前景的方案，使得在标注数据有限的情况下能够提高分割性

中能。SSL在视频数据方面的最新进展包括V-JEPA框架，该框架仅基于特

征预测，避免了像素级重建或负样本使用。我们假设V-JEPA适合超声成

1像，因为它对噪声像素细节不那么敏感，并且能有效利用时间信息。据我

v

4们所知，这是首次采用V-JEPA对超声视频数据进行研究的案例。与基于

2补丁的掩码自监督技术（如VideoMAE）类似，V-JEPA适用于ViT模

4

8型。然而，ViTs在小型医疗数据集上的表现可能不佳，因为缺乏归纳偏置、

1有限的空间局部性和缺失层级特征学习。为了改进局部性理解，我们提出

.

7了一种新颖的3D定位辅助任务，在V-JEPA预训练过程中提高ViT表

0示中的局部性。我们的结果显示，在不同冻结编码器配置下，使用我们的

5

2辅助任务的V-JEPA在分割性能上显著提升，使用100%的数据提升了最

:多3.4%，仅使用10%的训练数据时提升了最多8.35%。

v

i

x

rKeywords:自监督学习·超声波·分割·ViTs

a

1介绍

超声（US）成像因其低成本、非侵入性和便携性，在临床实践中被广泛

用作CT和MRI的替代方案。然而，构建大型标注的超声数据集具有挑战

性，因为存在高噪声、低对比度以及回声、声影和镜像等常见伪影[16]。这些

因素使得超声图像解释复杂化，需要大量时间和专业知识，通常导致操作者

之间变异性较大[3]。超声视频通过允许临床医生预测并识别跨帧的解剖结

构和病理状况来支持临床理解，提供了单张图像数据集所缺乏的背景信息。

视频数据也与实际的临床采集工作流更为接近。

2E.Ellisetal.

为了帮助临床医生解读超声图像，自监督学习（SSL）提供了一个有前

景的解决方案[