视觉变换器与卷积神经网络在医学图像分类中的比较分析.pdfVIP

1

视觉变换器与卷积神经网络在医学图像分类

中的比较分析

KunalKawadkarDepartmentofDataScienceandApplications

IndianInstituteofTechnologyMadras

Chennai,TamilNadu,India

kunalkawadkar100@

摘要—视觉变压器（ViTs）的出现彻底改变了计算机视觉医学成像面临独特的挑战，包括数据可用性有限、

领域，然而它们在医学成像中的有效性与传统卷积神经网络类间相似度高以及可解释性在临床应用中的关键重要

本（CNNs）相比仍鲜有探索。本研究对CNN和ViT架构进性。虽然已有若干研究探讨了特定医疗任务上的个别架

译行了全面比较分析，涵盖了三个关键的医学成像任务：胸部X

构[5],[6]，但在多种医学成像模式之间进行全面比较分

中光肺炎检测、脑肿瘤分类和皮肤癌黑素瘤检测。我们评估了四个析仍然有限。

最先进的模型——ResNet-50、EfficientNet-B0、ViT-Base

1

v和DeiT-Small，在总计8,469张医学影像的数据集上进行了本研究通过在三种不同医学成像任务中进行代表

6测试。我们的结果显示任务特定的模型优势：ResNet-50在胸性CNN和ViT架构的系统性比较来填补这一空白：胸

5

1部X光分类中实现了98.37%的准确率，DeiT-Small在脑肿部X光肺炎检测、脑MRI肿瘤分类以及皮肤镜皮肤癌

1瘤检测中以92.16%的准确率表现优异，EfficientNet-B0在检测。我们的贡献包括：(1)在三种医学成像模式下对

2.皮肤癌分类中领先，准确率为81.84%。这些发现为选择用于医

7学AI应用的架构提供了关键见解，强调了在临床决策支持系统四个最先进的模型进行全面性能比较，(2)分析医疗环

0中任务特定架构选择的重要性。境中CNN与ViT之间的计算效率权衡，以及(3)为医

5

2疗AI应用中的架构选择提供实用建议。

:IndexTerms—视觉变换器，卷积神经网络，医学图像分

v

i类，深度学习，计算机视觉，迁移学习等等

xII.相关工作

r

a

A.卷积神经网络在医学成像中的应用

I.介绍

卷积神经网络已广泛应用于医学成像任务，并取得

医学图像分析在现代医疗保健中变得越来越重要，

了显著的成功。ResNet架构[2]在胸部X光分析中表

深度学习模型作为诊断辅助的强大工具发挥了作用。传

现出有效性，多项研究表明其对肺炎检测的准确性超过

统的卷积神经网络（CNN）由于其固有的空间归纳偏置

95%[5]。EfficientNet模型[3]在皮肤病学应用中显示

和在图像识别任务中的证明有效性，在医学成像应用中

出特别的潜力，平衡了准确性和计算效率。

占