资源感知聚合与稀疏化异构联邦学习集成.pdfVIP

资源感知聚合与稀疏化异构联邦学习集成.pdf

资源感知聚合与稀疏化异构联邦学习集成

KeumseoRyumJinuGongJoonhyukKang

KoreaAdvancedInstituteofScienceandTechnology

HansungUniversity

ABSTRACT问题，分布式机器学习框架联邦学习（FL）[1]近来受

联邦学习（FL）能够在保持客户数据私密性的前提下到了关注。联邦学习允许多个边缘设备在不共享其本

进行分布式训练，但在现实的通信场景中，系统异构地数据的情况下协作训练一个全局模型。关于联邦学

本性会阻碍其收敛。大多数解决系统异构性的FL方案习的初步工作假设了客户端之间的同质数据分布和计

译采用全局剪枝或集成蒸馏技术，但通常忽视了提高通算能力，以证明与集中式学习相当的收敛性。

中信效率所需的典型约束条件。同时，深度集合可以通尽管在多个领域取得了成功，但在实际场景中部

2过聚合来自独立训练模型的预测来提升性能，然而当署的联邦学习因客户端计算资源异构性而面临挑战。

v前基于集合的FL方法在充分捕捉模型预测多样性方现有的大多数关于系统异构联邦学习的工作都集中在

5面表现不足。在此工作中，我们提出了一种名为谢菲模型异构性上，因为由于客户端资源限制，同质模型

5尔的全局集成式FL框架，适用于计算能力各异的客的服务器模型大小受限[2]。一种研究方法使客户端能

0户。根据客户的可用资源，我们将不同数量的全局模够训练全局模型的子模型[3,4,5]。在这些方法中，全

8型分配给各个客户端。我们引入了一种新的聚合方案，局模型被划分为更浅或更窄的子模型，并根据其资源

5以减轻客户端之间的训练偏差，并动态调整各客户端能力分配给客户端。另一种研究利用服务器端的知识

2的稀疏化比例，从而降低深度集合训练的计算负担。蒸馏来适应不同的客户端模型结构和输出[6,7,8]。来

v广泛的实验表明，我们的方法有效地解决了计算异构自各个客户端模型的预测结果被蒸馏成服务器上的学

x性问题，在准确性和稳定性方面显著优于现有方法。生模型并下载到客户端。然而，这些方法通常在聚合

a步骤中面临模型结构不匹配的问题或需要服务器侧的

IndexTerms—联邦学习，深度集成，系统异构

额外数据。

性，Top-k稀疏化

另一方面，集中式学习中的深度集成[9]因其在预

测准确性、不确定性校准和鲁棒性[10]方面的优越性

1.介绍

能而被广泛使用。将深度集成整合到FL中作为弱基

集中式深度学习的成功归功于大量训练数据。然础预测器输出的一种方向是有前景的，可以巩固这些

而，在许多现实场景中，大量的数据来自移动客户端输出以产生更好的结果[11,12,13]。然而，直接将深

设备。直接将这些数据发送到中央服务器会产生额外度集成整合到联邦训练中由于传输大量模型权重的通

的通信开销。此外，向中央服务器披露个性化的本地信负担仍然不切实际。在FL中使用集成蒸馏试图解

数据会损害数据隐私。为了解决与客户端数据相关的决深度集成训练的工作量问题，但蒸馏未能充分利用

ThisworkwaspartlysupportedbytheInstituteofInformation各个模型的多样化预测。