面向非独立同分布数据的联邦学习通信效率研究.pdf

面向非独立同分布数据的联邦学习通信效率研究

摘要

联邦学习是一种分布式机器学习框架，面临着数据异质性的挑战。在非独立

同分布数据环境下，联邦学习本地模型的收敛偏差使全局模型的收敛速度降低，

导致通信负担增加。集群联邦学习使用集群模型训练特定分布的数据，增加非独

立同分布数据联邦学习的模型收敛速度和性能。其次，使用模型压缩能够进一步

降低模型的数据传输量，提高通信效率。然而集群联邦学习的集群划分过程要求

客户端接收额外的模型参数或者客户端全部参与训练，增加了客户端的通信负担。

针对上述问题，本文展开如下研究。

(1)集群联邦学习要求客户端接收所有集群模型或者全部参与每一轮的训练，

增加了客户端的通信负担。针对该问题，本文提出了一种基于异步客户端聚类的

集群联邦算法。该算法首先通过消除集群模型收敛方向的差异计算本地模型相似

度，降低本地模型相似度计算的误差。然后将客户端参与训练的等待时间作为时

间权重，使用时间权重进行加权随机选择客户端，提高通信效率以及集群划分的

准确性。与现有的集群联邦学习算法进行对比实验，结果表明本文提出的算法具

有更高的通信效率。

(2)集群联邦学习使用残差累积压缩方法能够降低模型压缩损失，但是部分

客户端参与训练使本地残差无法实时更新，导致模型的收敛速度降低，进而产生

额外的通信代价。针对该问题，本文提出了基于残差同步的稀疏量化集群联邦算

法。该算法将本地的残差同步到服务端，设置同步频率，周期性地生成集群残差，

在模型压缩过程中，使用集群残差替代过时的本地残差，提高模型收敛速度。同

时，为降低残差同步的通信成本以及模型压缩对集群划分准确性的影响，应用低

比特量化方法压缩同步的本地残差，保留模型更新的深层参数的原始精度，并使

用稀疏三元量化方法压缩模型更新的其余参数，保证集群划分的准确性。与现有

的残差累积的模型压缩算法进行对比实验，结果表明本文提出的算法具有更高的

通信效率和模型性能。

关键词：联邦学习；非独立同分布；通信效率；集群联邦学习；量化；稀疏化

ResearchonEfficientFederatedLearningforNon-IIDData

ABSTRACT

FederatedLearningisadistributedmachinelearningframeworkthatfacesthe

challengeofdataheterogeneity.Innotindependentandidenticallydistributed(non-IID)

dataenvironments,theconvergencebiasoflocalmodelsinfederatedlearningreduces

theconvergencespeedoftheglobalmodel,leadingtoanincreaseincommunication

burdens.Clusteredfederatedlearningtrainsclustermodelswithspecificdata

distributions,enhancingtheconvergencespeedandperformanceoffederatedlearning

onnon-IIDdata.Furthermore,utilizingmodelcompressioncanfurtherreducethe

amountofdatatransmittedandimprovecommunicationefficiency.However,the

clusteringprocessofclusteredfederatedlearningrequiresclientstoreceiveadditional

modelparametersortofullyparticipateintraining,thusincreasingthecommunication

burdenonclients.Inresponsetotheseissues,thi