去中心化联邦学习模型及通信策略优化研究.pdfVIP

摘要

随着信息技术的普及，每个人都在不断地产生和生成数据，当今社会积累了海

量的数据。尽管这些数据给我们的生活带来了便利，但也引发了我们对于个人数据

隐私的担忧。为了保护个人数据隐私，政府开始出台一系列的法律法规来保护数据

隐私，然而，这也使得企业要想合法合规的获得用户数据变得困难了起来。而且目

前，通用的深度学习模型多是基于集中式训练得到的，因此在保护数据隐私的情况

下训练深度学习模型成为了一项挑战。分布式机器学习虽然是一种解决方案，但传

统方法基于数据独立同分布和设备均衡的假设，与现实中的数据分布复杂和设备性

能差异不符，因此受限。

在这种背景下，联邦学习应运而生。联邦学习的特点是“数据不动，模型动”，

有效地解决了在数据隐私和安全性方面的难题。尽管常见的联邦学习是中心化的架

构，中心服务器负责协调各个客户端进行本地训练和通信，但这种方式也会带来单

点故障和不可信的问题。为了应对这些挑战，一个潜在的解决方案是去中心化的联

邦学习。

本文主要包括两部分：搭建去中心化联邦学习模型和通信策略优化研究。在第

一部分中，首先基于去中心化联邦学习算法构建了模型，采用点对点的通信方式，

各个客户端之间直接通信，无需中央服务器进行协调，摆脱了传统的联邦学习对中

央服务器的依赖。其次，在构建好模型后，使用MNIST和Shakespeare数据集验证

了其有效性。最后，将客户端根据样本量划分为大节点和小节点两类，以研究不同

节点对模型性能的影响。在第二部分中，本文提出了基于自编码器的通信优化模型，

为提高通信效率提供了一种新思路。通过编码器技术，模型参数被有效压缩成较小

的编码向量，随后通过点对点的通信方式传输给临时中央节点，达到减少通信成本

并保护隐私的目的。在临时中央节点收到编码向量后，利用解码器还原模型参数，

再进行模型聚合。这种基于自编码器的通信优化模型在保证模型精度不下降的同时，

不仅降低了通信量，还能有效地保护数据隐私。

关键词：分布式机器学习；去中心化联邦学习；自编码器；通信优化

ABSTRACT

Withthewidespreadadoptionofinformationtechnology,individualsarecontinually

generatingvastamountsofdata,leadingtotheaccumulationofmassivedatasetsin

contemporarysociety.Whilethesedatahavebroughtconveniencetoourlives,theyhave

alsoraisedconcernsaboutpersonaldataprivacy.Inordertosafeguardindividualdata

privacy,governmentshavebeguntoenactaseriesoflawsandregulations.However,this

hasmadeitincreasinglychallengingforbusinessestolegallyandcompliantlyacquireuser

data.Furthermore,currentmainstreamdeeplearningmodelsaremostlybasedon

centralizedtraining,posingachallengetotrainingdeeplearningmodelswhileprotecting

dataprivacy.Althoughdistributedmachinelearningisapotentialsolution,traditional

approachesbasedontheassumptionsofindependentandidenticallydistributeddataand

balancedde