异构设备间半异步联邦学习效率优化技术研究.pdf

异构设备间半异步联邦学习效率优化技术研究

摘要

联邦学习能使多个客户端在不共享隐私数据的情况下协同训练神经网络模型，受到

物联网领域的广泛关注。然而在同步联邦学习中，由于客户端在计算和通信能力上的异

构性，它们无法同时将训练模型返回中央服务器，会导致中央服务器等待延迟较高。虽

然异步联邦学习可以降低等待延迟，但以完全异步的方式聚合全局模型会导致一些本地

训练模型过时，从而导致联邦学习聚合得到的全局模型准确率较低，无法满足实际使用

需求。半异步联邦学习作为一种折中方案能够在一定程度上缓解上述提到的问题。本文

拟通过研究独立同分布数据和非独立同分布数据下的半异步联邦学习系统，提高半异步

联邦学习的训练效率和模型精确度。

首先，面向独立同分布数据下半异步联邦学习的场景，针对半异步联邦学习中存在

着全局模型和本地训练模型版本差距过大导致的训练效率降低的问题，提出了一种面向

独立同分布数据的训练效率优化方法，设计并实现了基于双加权聚合策略的半异步联邦

学习系统。通过在全局模型的精确度、训练损失值和训练轮次方面和当前已有的方案对

比，验证了所提出方案可以提高半异步联邦学习的精确度并且可以以更快的速度完成模

型的收敛，从而提高了联邦学习模型训练效率。

其次，面向非独立同分布数据下半异步联邦学习的场景，针对半异步联邦学习中存

在模型精确度较低的问题，无法满足实际需求，提出了一种面向非独立同分布数据的模

型精确度提升方法，设计并实现了基于聚类的两阶段半异步联邦学习系统。通过使用生

成对抗网络和聚类算法，将数据分布相似的客户端分到同一组中，从而使得非独立同分

布数据不会对联邦学习带来较大的负面影响。通过在模型精确度方面与现有的解决方案

对比，验证了所提出的方法能够提高联邦学习模型精确度，提高联邦学习模型的可用性。

关键词：半异步联邦学习；非独立同分布数据；生成对抗网络；聚类算法；聚合算

法

异构设备间半异步联邦学习效率优化技术研究

Abstract

FederatedlearninghasattractedwidespreadattentioninthefieldofInternetofThingsas

itallowsmultipleclientstocollaborativelytrainneuralnetworkmodelswithoutsharingprivate

data.However,insynchronousfederatedlearning,duetotheheterogeneityofclientsinterms

ofcomputingandcommunicationcapabilities,theycannotreturnthetrainingmodelstothe

centralserveratthesametime,whichleadstohighwaitingdelaysfortheserver.Although

asynchronousfederatedlearningcanreducewaitingdelays,aggregatingglobalmodelsina

fullyasynchronousmannercancausesomelocaltrainingmodelstobecomeoutdated,resulting

inloweraccuracyofthegloballyaggregatedmodelandinabilitytomeetpracticalusage

requirements.Semi-asynchronousfederatedlearning,asacompromisesolution,canalleviate

theproblemsmentionedtosomeextent.Thispaperaimstoimprovethetrainingefficiencyand

modelaccuracyofsemi-async