基于差分隐私的联邦学习保护方案与应用.pdfVIP

摘要

联邦学习是一种数据不出本地的训练方法，具体表现为在联邦学习训练过程中，

各个客户机利用本地数据训练本地模型，并由中心服务器聚合各个本地模型为全局

模型，此过程多次迭代之后得到最终模型。联邦学习的特点之一是进行训练的服务器

并不直接接触数据，所以联邦学习本身就有保护数据安全的特性。但是研究表明，联

邦学习在本地模型训练和中心模型聚合等方面均会有隐私泄露的问题。差分隐私机

制可以保护数据安全，是通过向数据添加符合分布的噪声，使攻击者分辨不出真实数

据和扰动后数据的方法。

本论文针对联邦学习中本地数据与梯度数据可能泄露的问题，提出了一种混合

差分隐私算法，在本地客户机和中心服务器两地都添加噪声，提升了联邦学习的安全

性。同时研究基于梯度信息的裁剪方法，在保证联邦学习隐私性的前提下，提升通信

效率。本论文的主要工作概括为以下两点：

（1）研究了一种基于本地和中心差分隐私的混合加噪算法LCDP，该算法可以

随机改变用户的加噪方式，为本地客户机提供本地或混合差分隐私保护。而且本文证

明这个算法在尽可能减少计算开支的前提下，还可以为用户提供他们所需的隐私保

障。本文将该算法试验于不同数据类型的MNIST数据集和CIFAR-10数据集，并与

本地差分隐私LDP-FL、中心差分隐私CDP-FL等算法进行对比，结果显示该混合算

法在准确率、损失率和隐私安全方面均有提升，其算法性能最优。

（2）提出了一种基于裁剪评分函数的联邦学习裁剪方法，以解决联邦学习中参

与者上传相关性较低参数带来的梯度爆炸、通信代价大等问题。首先，提出了评分函

数的指标，分别是梯度相关性、准确率与损失率。梯度相关性根据本地梯度与上一轮

全局梯度的方向符号与L2范数的中位数作为共同评估标准，以近三轮训练值的均值

作为准确率与损失率的评估标准。评分函数对模型每层向量都进行评分，评分达到一

定标准才可以上传至中心服务器。中心服务器在最终聚合时，先统计本地模型的权重

向量，再根据评分函数的值统计被上传的梯度向量，最后进行加权聚合，避免缺失向

量造成的损失。实验分析证明所设计的方法相较于其他算法提升了收敛速度，并且在

准确率与损失率方面的表现也优于其他算法。

（3）综合上述两个方法，本文设计了基于差分隐私的联邦学习平台。该平台包

含用户管理、数据集管理、本地训练、裁剪设置、联邦训练五大模块。基本包含了上

述两个方法的思路，并能够通过选择不同选项，来达到研究者学习不同隐私条件对联

邦学习训练结果影响的目的。最后的结果展示界面，用表格、对比图等不同方法展示，

简洁明了的展示各个算法的性能。

关键词：联邦学习；差分隐私；梯度裁剪；梯度下降

ABSTRACT

Federatedlearningisatrainingmethodwheredatadoesnotleavethelocalarea.

Specifically,duringthetrainingprocessoffederatedlearning,eachclientuseslocaldatato

trainlocalmodels,andthecentralserveraggregateseachlocalmodelintoaglobalmodel.

Aftermultipleiterations,thefinalmodelisobtained.Oneofthecharacteristicsoffederated

learningisthatthetrainingserverdoesnothavedirectaccesstodata,sofederatedlearning

itselfhasthecharacteristicofprotectingdatasecurity.However,researchhasshownthat

federatedlearningcansufferfromprivacybreachesinbothlocalmodeltrainingandcentral

modelaggregation.Differentialprivacymechanismcan