谁值得信任？基于 Logit 的联邦学习中的客户端知识聚合.pdfVIP

基于对数单位的联邦学习中汇总客户端知识

谁值得信任？基于Logit的联邦学习中的客户端知识聚合

ViktorKovalchuk,NikitaKotelevskii,MaximPanov,SamuelHorváth,Martin

Takáč

MohamedbinZayedUniversityofArtificialIntelligence,UnitedArabEmirates

Abstract

联邦学习（FL）通常共享模型权重或梯度，这对于大型模型来说成本很高。基于Logit的FL通过仅

共享在公共代理数据集上计算的logits来减少这种成本。然而，从异构客户端聚合信息仍然是一个挑

本战。本文研究了这个问题，并引入和比较了三种logit聚合方法：简单平均、不确定性加权平均和学

译习元聚合器。在MNIST和CIFAR-10上的评估表明，这些方法减少了通信开销，在非IID数据下提

高了鲁棒性，并且实现了与集中式训练相当的准确性。

中

1

v1.介绍

7

4联邦学习（FL）使多个客户端能够在不共享原始数据的情况下协作训练模型[2,6,8,13,19]。

1

5然而，大多数FL算法需要传输模型参数或梯度[1,3]，导致在数据异质性情况下通信成本高和

1.性能下降[4,9,14,16,18]。为了解决这个问题，一些研究探索了基于logit的联邦蒸馏，其中

9客户端共享模型输出而不是参数[11,17,20]。

0

5在这项工作中，我们研究了一种基于logit的联邦学习(FL)方案，在该方案中，每个客户

2

:端都在具有部分类别覆盖的数据集上进行训练，并且只在共享的未标记公共数据集上交换评估

v

i过的logits。然后将聚合后的logits用作软目标来优化本地模型，从而实现无需分享梯度或模型

x

r权重的知识转移。

a

贡献。我们的工作做出了三个主要贡献：（1）基于之前关于基于logit的训练的研究，我们引

入了一种通信高效的联邦蒸馏技术，专门针对异构客户端设置，并完全避免了传输梯度或模型

参数；（2）我们提出了三种logit聚合策略——简单平均、使用高斯混合模型加权不确定性的平

均以及学习元模型聚合器；（3）我们在MNIST和CIFAR-10上提供了实证证据，表明我们的方

法在显著的数据异质性下能够实现稳健的性能。

2.相关工作

标准的FedAvg算法[13]通过对通信轮次中的客户端权重更新（或等效地模型参数）进行

平均，但在异构数据分布下表现不佳[7]。基于Logit的方法如FedMD[11]引入了使用共享公

共数据集的知识蒸馏，其中模型交换预测而不是权重。集成蒸馏方法[12]进一步强调了聚合客

1

基于对数单位的联邦学习中汇总客户端知识

户端Logit以提高泛化的潜力。我们的工作通过使用未标记的共享数据集扩展了这些想法，并

提出了新的聚合技术。

3.提出的方法

我们考虑客户端之间的一种特定分布变化–标签分布变化与支持不匹配。具体来说，我们

考虑客户端，并假设每个客户端仅观察类别的一个子集并且具有不同的

标签先验。此外，为了简单起见，我们假设所有都具有固定常数。另外，所有客

户端都可以访问一个包含来自所有类别的未标记样本的共享公共数据集。

我们总结了所提出方法的整