基于Transformer和对比学习的消化道疾病分型的研究.pdfVIP

摘要

摘要

一直以来，消化道疾病因其发病率高、诊断复杂的特点，对我国的医疗系统

与社会经济造成了严重的负担。同时，因为可能发生的诊断不及时与误诊问题

而深深威胁着患者的生命健康安全。传统的诊断方法不仅高度依赖于临床医生的

专业领域知识，还需要进行大量的辅助检测手段。随着近年来面向视觉的深度学

的飞速发展及其在医学图像自动诊断领域取得的显著成绩，利用患者医疗影像

数据作为输入，实现患者病情的有效预测已经成为了一种简单高效的手段，逐渐

地被临床医生和患者所接受。通过腹部CT扫描，基本上可以获取到消化道的所有

器官和结构的详细三维信息。这些器官不仅在空间上连续，而且某些部位的生理

形态呈现出一定的相似性。如何有效地利用现有的消化道数据集，充分捕捉图

像中包含的特征信息，实现对患者病情的快速精确自动诊断（分型），具有非常重

要的研究意义。

在此基础上，本文提出了一种结合Transformer和SimCLR对比学框架的消

化道疾病分型的研究方法。Transformer模型的全局感知能力使得它能够有效地捕

捉到CT图像的全局特征，并关注到不同部位之间的联系。而对比学的方式则有

助于模型学到数据集的通用特征，从而更好地提取医疗影像中关于消化道疾病

不同类型的微环境表型和微观异质性特征。此外，还可以降低模型对大规模、高质

量标注的数据集的依赖问题，使其具备更好的迁移性和更高的准确性。同时，本

文还引入了多实例学的方法，旨在进一步提升模型对全局信息的分析能力以提

高其分类准确率。

为了验证所提出的方法的有效性，本研究专门构建了一个大规模多中心的消

化道数据集，并在一个专用数据集以及两个公开消化道数据集上进行了大量的实

验。实验结果表明，本文所提出的方法不仅在准确率、灵敏度、特异性等性能指

标上超越传统的卷积神经网络，并且其具备优秀的泛化性能与可迁移性，可以大

大降低模型训练的难度，帮助模型尽快收敛。

关键词：深度学，Transformer，对比学，消化道疾病，多实例学

I

ABSTRACT

ABSTRACT

Duetothehighincidenceanddiagnosticcomplexityofgastrointestinaldiseases,it

haslongimposedaheavyburdenonChina’shealthcaresystemandsociety.Meanwhile,

thedelayeddiagnosisandmisdiagnosisassociatedwiththeseconditionsalsoposease-

riousthreattopatients’healthandwell-being.Traditionaldiagnosticmethodsnotonly

heavilyrelyonclinicians’domainexpertisebutalsorequirenumerousancillarytests.In

recentyears,deeplearninghasmadegreatprogressinvisualtasks,especiallyinthefieldof

automatedmedicalimagediagnosis.Usingmedicalimagingdataasinputhasemergedas

asimpleandefficientmeanstoeffectivelypredictapatient’scondition,graduallygaining

acceptanceamongcliniciansandpatientsalike.ThroughabdominalCTscans,itispossi-

bletoobtaindetailedthree-dimensionalinformationaboutalltheorgansandstructuresof

thegastrointestinaltract.Theseorgansnotonlyspatiallycontinuousbutalsoexhibitsome

similarityinphysiologicalmorphology