基于联邦学习的膝关节影像诊断算法研究与应用.pdf

摘要

基于联邦学习的膝关节影像诊断算法研究与应用

随着人们对数据隐私的重视，将不同参与方的数据集收集到一起用于模型

训练变得越来越困难。因此为解决这一“数据孤岛”问题，联邦学习作为一种

分布式训练框架，不再将所有的数据集收集到一起后再去训练模型，而是通过

参数共享的方式进行协同训练，但是在该框架下使用不同参与方的数据集时可

能会产生领域偏移的问题。以往的相关工作大多使用单一结构的公共模型共享

参数，在训练中往往存在一定的局限性和不可靠性。而且在公共模型聚合时也

简单采用了平均的方法，没有考虑数据异质性对模型聚合的影响，限制了模型

的最终表现。同时“数据孤岛”问题在医学影像分析领域由于数据敏感性更为

突出，同时也很少有应用在该领域的端到端的联邦学习方法。因此本文针对以

上问题提出了一种新的联邦学习方法，并首次将其应用在了医学影像分析中广

泛研究的膝关节的损伤预测问题中。膝关节半月板损伤在膝关节损伤成因中的

占比高达50%左右，而且在不同年龄段的人群中均有发生。在临床诊断中，相

比关节镜这种有创检查的方法，对于多数患者，医生往往会借助核磁共振影像

对患者做出术前评估。但半月板损伤部位在膝关节核磁共振影像中占比较小，

诊断过程耗时耗力，且损伤类型复杂，给低年资影像科医生带来一定的诊断难

度。因此本文基于联邦学习对膝关节核磁共振影像诊断算法和应用做出了以下

研究。

（1）本文提出了基于混合专家领域自适应的加权联邦学习方法。该模型利

用联邦学习解决膝关节影像“数据孤岛”问题的同时，在面对领域偏移问题时，

引入了多种不同结构的公共模型共享参数，并通过混合专家层动态结合私有模

型和不同结构的公共模型的输出做出最终预测。同时，在公共模型聚合时，通

过衡量不同数据集间的相似性，生成对应的权重矩阵指导公共模型的参数聚合，

为每个参与方生成一个唯一的公共模型。本文将该方法应用在了多站点的膝关

节核磁共振影像的端到端的分类任务中，实验证明了本文所提出的方法的有效

性。

（2）本文设计并实现了膝关节影像辅助诊断系统。该系统嵌入了基于本文

I

创新性提出的方法的预训练模型，用于对导入的膝关节核磁共振影像做出损伤

预测，同时支持用户在本地模拟联邦学习的训练过程。除此之外，针对用户的

实际使用需求，该系统也开发了以下功能，包括半月板自动分割，核磁共振影

像查看，数据预处理，患者基本信息和历史诊断信息管理功能。这些功能方便

用户管理患者各种信息的同时，也辅助了用户做出更准确的临床诊断。

关键字：

联邦学习，深度学习，领域自适应，混合专家，医学影像处理

II

Abstract

Researchandapplicationofkneejointimagediagnosisalgorithm

basedonfederatedlearning

Withtheemphasisondataprivacy,itbecomesincreasinglydifficulttocollectdata

setsfromdifferentpartiesformodeltraining.Therefore,inordertosolvethisdata

islandproblem,federatedlearning,asadistributedtrainingframework,nolonger

collectsalldatasetstogetherandtrainsthemodel,butconductscollaborativetraining

throughparametersharing.However,domainshiftmayoccurwhendatasetsof

differe