面向边缘网络的高性能联邦学习研究.pdf

摘要

作为一种机器学习技术，联邦学习可以提供分布式数据存储和模型训练，在实现数据保

护和计算并行的同时打破数据孤岛。当前主流的联邦学习架构主要关注监督式学习下模型性

能的提升，但在数据多样性的场景下性能难以得到保障。同时，对训练数据的去中心化同样

会面临数据异构带来的模型训练不稳定、模型收敛速度低下以及模型训练和传输带来的设备

端计算和通信负载增大等问题。为弥补上述缺陷，构建更高效的联邦学习架构，并且提高其

在智慧医疗等领域的实用性，本文研究了高性能联邦学习方案，主要贡献包含以下三个方面：

1）面向皮肤病智能诊断的联邦对比学习机制：针对缺乏标签数据、皮肤病之间的视觉相

似性和隐私保护等挑战，提出面向皮肤病智能诊断的联邦对比学习机制。具体地，首先提出

了一个联邦对比学习框架来打破数据孤岛并增强诊断模型的泛化能力。随后，通过结合参与

节点的数据特征，所提出的框架可以提高对比训练的性能。为了在本地训练期间提取区分度

强的特征，在边缘计算网络中提出了一种基于对比学习的智能皮肤病诊断方法。具体来说，

使用基于对比学习的双编码器网络充分利用无标签数据进行性能提升来克服训练样本稀缺性。

同时，设计了一种基于最大均值差异的监督对比损失函数，其可以有效地学习样本的复杂类

内和类间方差。最后，仿真结果表明，与现有方法相比，提出的机制可以在单节点训练和分

布式训练场景中实现更高的准确性。

2）面向个性化联邦半监督学习的不确定度最小化机制：针对联邦训练实现鲁棒性能和平

稳收敛的主要障碍——分布式数据的统计异构性，本文提出了面向个性化半监督联邦学习的

不确定性最小化机制，允许部分数据标注或没有标注数据的客户端向数据分布相似的其它客

户端(代理)寻求协助来获取可信伪标签，从而辅助其对本地数据分布进行建模。基于这种模

式，设计了一种基于不确定度的数据集关系度量方法，以确保选出的代理客户端可以提供可

信的伪标签而不会误导本地训练。进一步，为了降低搜索代理所引入的通信负载，构建了代

理选择协议，以极有限的模型性能代价实现高效的通信。实验表明，提出的机制相比其它基

于半监督训练方法可以获得更优越的性能和更稳定的收敛性，并在高度异构的环境中优势更

加突出。

3）面向智能高效服务系统的计算分层联邦学习框架：现有的联邦学习方法依赖于参与节

点来执行密集的设备端训练和网络通信，这对于能量受限的移动设备来说是一个沉重的负担。

基于以上挑战，提出了一种计算分层的联邦学习框架，使资源受限的设备能够执行计算高效

的设备端训练和轻量级消息传输。首先，定义了框架的网络架构和其中各个实体关键功能。

然后，提出该框架的实现原理，并基于该原理设计了两个实例方法，允许设备参与联邦训练

而不需要直接梯度计算或连续数据传输。为了更直观地反映所提出方法的性能和效率，仿真

实验给出了提出的方法与传统联邦学习的比较，实验结果表明该方法能够大幅度降低通信与

计算复杂度。最后，出于对未来研究的展望，提出了该框架的四个相关研究挑战，并提供了

可能的解决方案。

关键词:边缘网络，联邦学习，个性化，半监督学习，医学图像

Abstract

Asamachinelearningtechnology,federatedlearningcanprovidedistributeddatastorageand

modeltraining,breakingdowndatasiloswhileachievingdataprotectionandparallelcomputing.

However,thecurrentmainstreamfederatedlearningframeworkmainlyfocusesontheimprovement

ofmodelperformanceundersupervisedlearning,andlacksconsiderationforsemi-supervisedand

unsupervisedlearning.Atthesametime,thedecentralizationoftrainingdataalsofacesproblems

suchasunstablemodeltrainingandlowmodelconvergencespeedca