基于半监督学习的医学图像分类.pdfVIP

摘要

21世纪20年代以来，人类进入了大模型时代，各行各业都随着人工智能的

应用得到了高速发展。深度学习技术在医学图像分析方面也取得了重大进展，然

而相对于传统的监督学习的图像分析技术而言，获得含有大量标签的数据仍是一

件难事，它需要专业医师进行长时间的鉴定才能得到。因此使用少量的标签数据

进行医学图像分析成为研究热门，半监督学习是解决这一问题的关键技术，使用

少量的有标签数据结合大量的无标签数据进行医学图像的分析能够显著提升模

型的准确性和泛化性。主要研究内容包括：

（1）伪标签是半监督学习中常用的一种策略，常见的伪标签生成方法是通

过有限标签数据预训练模型对无标签数据生成伪标签，本文的方法是使用无监督

学习利用标签数据和无标签数据学习预训练模型，通过预训练模型生成特征表示

进行伪标签的学习，通过病理组织图片数据证明了特征表示的可行性。

（2）考虑到无标签数据的复杂分布情况，使用权重感知蒸馏方法，对每个

无标签数据生成对应的权重，易错数据赋予较小的权重，可靠数据赋予较大的权

重，达到数据过滤的效果，从而减小总误差中的无标签数据中的未知类别的误差，

通过病理组织图片数据设计实验证明了模型能够适应未知类别干扰的场景，具有

较强的抗干扰能力。

（3）在无监督学习的特征提取器中，相比于常用的卷积神经网络结构，本

文尝试近年来热门的视觉transformer结构，通过病理组织数据和胸部X射线数

据设计实验，与传统半监督模型进行对比，进行结果对比。实验结果表明，结合

ViT的权重感知蒸馏模型与结合卷积神经网络的权重感知蒸馏模型具有相近的

准确率，但它有着更快的训练速度，这更加适用于需要使用大量无标签数据的半

监督学习场景下。

本文从医学图像的半监督学习分类展开研究，使用一种新型的基于对比学习

的权重感知蒸馏模型，通过实验证实了在医学图像分析中的可行性，为医学图像

分析提供了新的半监督应用场景。

关键词：医学图像；半监督学习；对比学习；卷积神经网络；视觉transformer

ABSTRACT

Sincethe2020s,humanityhasenteredtheeraoflarge-scalemodels,andvarious

industrieshaveexperiencedrapiddevelopmentthroughtheapplicationofartificial

intelligence.Significantadvancementshavebeenmadeindeeplearningtechnologyfor

medicalimageanalysis.However,comparedtotraditionalsupervisedlearning

techniques,acquiringdatawithasubstantialnumberoflabelsremainschallengingand

requiresextensivetimefromprofessionalphysiciansforidentification.Consequently,

utilizingalimitedamountoflabeleddataformedicalimageanalysishasemergedasa

prominentresearchtopic,withsemi-supervisedlearningservingasthekeysolutionto

thisissue.Bycombiningasmallquantityoflabeleddatawithanabundanceof

unlabeleddata,significantenhancementscanbeachievedinbothmodelaccuracyand

generalizationcapabilities.Theprimaryareasofresearchencompass:

(1)Pseudo-labelsa