基于原型混合的个性化联邦学习研究.pdfVIP

基于原型混合的个性化联邦学习研究

研究生姓名：邢卧龙指导老师：石贞奎副教授

学科专业：软件工程研究方向：联邦学习年级：2021级

中文摘要

在传统的联邦学习框架中，由于数据异构性的普遍存在，全局共享模型往往难

以在所有客户端上实现个性化的高效表现。因此，如何精准地为每个客户端定制并

训练出与其本地数据分布高度契合的个性化模型，成为了联邦学习领域面临的核心

挑战之一。在数据异质场景下，一些个性化联邦学习方法通过混合本地模型和全局

模型，旨在个性化和泛化之间寻找一个最优权衡。还有一些个性化联邦学习方法将

本地模型解耦成两部分：身体部分和预测头，通过共享一个全局的身体，保留个性

化头来实现个性化，但这些方法都是基于梯度上传并且考虑的都是单一异构场景下

的联邦学习，这往往会带来极大的通讯开销，而且这些方案对于具有混合异构场景

下的个性化联邦学习并未探索。因此，本文围绕联邦学习的个性化方法展开研究，

旨在解决上述问题。针对这一目标，我们提出了两种个性化联邦学习算法：基于原

型融合的算法和基于原型相似度的算法，主要的研究内容包括：

(1)针对联邦学习中的数据异构、模型异构和通讯开销问题，本文提出了基于原

型融合的个性化联邦学习算法pFedPM（Personalizedfederatedlearningmethodbased

onprototypemixing），该算法旨在最大程度地减少通讯开销，并允许模型异构的存

在。具体来说，首先该算法将本地模型划分为特征提取模块和决策模块两部分。特

征提取模块用于提取数据的特征信息，也就是原型；而决策模型则对提取出来的特

征信息进行分类决策。其次，对于同一类别标签的数据，我们通过特征提取模块获

得其特征的平均值，并将其作为该类别标签的本地原型，然后客户端上传本地原型

而不是模型的梯度参数，服务端根据本地原型的标签类别进行平均聚合得到该类别

标签的全局原型，之后将全局原型下发给各个客户端，并跟各个客户端的本地原型

进行混合得到一个混合原型，旨在寻找一个全局原型和本地原型之间的最优解。为

了让本地原型更贴近于混合原型，在本地更新阶段，我们损失函数由交叉熵损失函

数和一个正端项构成。此外，我们还设计了一个关系模块，通过本地原型和混合原

型的相关程度来进行分类决策。最后，在三个公共数据集上进行实验性能分析，验

证了pFedPM算法的有效性。实验结果表明，pFedPM算法优于对比的先进基线算

法，并且需要更少的通讯。

(2)针对于联邦学习中标签分布倾斜和特征分布倾斜混合的异构场景，本文提

出了一种基于原型相似度的个性化联邦学习算法PFPL（Personalizedfederated

prototypelearning）。该算法主要通过两个方面来应对上述问题。一方面通过学习不

同客户端原型的知识的来缓解标签分布倾斜的影响，另一方面设计了基于原型相似

度的聚合算法，能够减轻来自不同域数据的影响。具体来说，每个客户端的数据源

自不同的域，从而导致即使标签相同，但是所表现出的特征会根据域的不同存在很

大差别，并且每个客户端可能只有个别类别标签数据，尽管有重叠。首先客户端将

本地标签数据提取的平均特征信息（原型）上传到服务端，服务端通过对同一类别

标签原型之间的相似度分配权重，为每个客户端定制个性化的原型，之后将个性化

的原型分配给相应的客户端进行训练，以获得个性化模型。最后，在不同的数据集

上进行实验性能分析。实验结果表明，PFPL相比于单异构场景下的算法有着更高

的精度，并且随着数据量的减少，表现出更强的鲁棒性，尤其是在PAPC数据集上，

PFPL的测试精度平均提高4%左右。

关键词：个性化联邦学习；原型相似度；混合异构；模型解耦；协同训练

ResearchonpersonalizedFederatedLearningbasedon

prototypefusion

Student:WolongXing

Supervisor:associateProf.ZhenkuiShi

Major:SoftwareEngineering

Researchdirection:Feder