知识融入多源多任务学习的眼底图像分类方法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2025，61（7）255

⦾图形图像处理⦾

知识融入多源多任务学习的眼底图像分类方法

1，21，2+

吴瑞琪，周毅

1.东南大学计算机科学与工程学院，南京211189

2.东南大学新一代人工智能技术与交叉应用教育部重点实验室，南京211189

+通信作者E-mail：yizhou.szcn@

摘要：针对传统眼底图像单任务模型泛化性受限，通用性差且可解释性较差的问题，提出了基于知识融入与多源

多任务学习的眼底图像分类模型。为利用多种眼底疾病和生物标志间的关联，从多任务模型架构的角度，提出了多

区域多专家分类模型。先识别出视盘和黄斑作为先验知识，再从整张眼底图、视盘和黄斑三个角度建立三个专家模

型学习多区域特征，并提出特征协调模块融合特征。为缓解多源标签空间偏移和训练梯度冲突问题，从多源标签空

间统一的角度，基于疾病病灶层级关系先验知识提出了二级层次化标签空间和空类交叉熵函数。为缓解多任务优

化困难和梯度冲突，提出了多源联合训练算法。经过充分的对比实验、消融实验和迁移实验验证，提出的模型取得

了显著增益（4.19~13.28个百分点），具有更强的通用性、泛化性和迁移性。

关键词：眼底多疾病分类；多任务学习；多源学习；知识融入；机器学习

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2311-0328

Multi-SourceMulti-TaskLearningwithKnowledgeIntegrationforFundusDiseaseClassification

WURuiqi1,2,ZHOUYi1,2+

1.SchoolofComputerScienceandEngineering,SoutheastUniversity,Nanjing211189,China

2.KeyLaboratoryofNewGenerationArtificialIntelligenceandCrossApplications(MinistryofEducation),Southeast

University,Nanjing211189,China

Abstract：Traditionalsingle-taskfundusdiseasemodelhaspoorgeneralizationandlowinterpretability.Aimingatthese

problems,multi-sourcemulti-tasklearningwithknowledgeintegrationforfundusdiseaseclassificationmodel(MMKI)is

proposed.Fromtheviewofmulti-taskarchitecture,multi-regionmulti-expertclassificationmodelisconstructed.After

recognizingtheopticdiscandmacularasthepriorknowledge,expertmodelsareestablishedfromthreeperspectivesto

learnmulti-regionfeatures,whichisfusedbyfeaturereconciliationmodule.Inaddition,forthealleviationofthemulti-

sourcelabelspacemigrationandgradientconflicts,two-levelhierarchicallabelspaceandnullclasscrossentropyfunctionis

introducedbasedonpriorknowledgeofhierarchicaldiseaserelationshipfromtheperspectiveofmulti-sourcelabelspace

unification