基于元学习的个性化联邦学习方法研究.pdfVIP

基于元学习的个性化联邦学习方法研究

摘要

人工智能技术的飞速发展离不开海大量数据的积累与流通，然而随着数据隐

私问题日益受到公众关注，传统机器学习的集中式的数据处理方式面临着日渐增

长的数据搜集与存储难题。作为一种新的机器学习范式，联邦学习使得参与方能在

保障隐私的前下，有效地利用分布式计算资源进行协作训练。

由于联邦学习参与方之间的数据非独立同分布（Non-IID）问题，传统联邦学

习中的全局模型往往不能很好地拟合与全局分布差异较大的局部分布，且存在收

敛困难的问题。个性化联邦学习的概念被出，旨在缓解Non-IID问题，为不同的

客户端供个性化模型。但综合现有研究，大多数个性化联邦学习算法普遍存在着

性能升有限、训练步骤复杂或者通信成本过高等问题。另一方面，元学习旨在通

过对一系列不同任务的学习来构建具有学习能力的元模型，使其能够在面对新任

务时，通过少量数据快速、有效地进行个性化学习。元学习和个性化联邦学习具有

一定的内在联系，都涉及到在不同的任务或数据分布之间进行协同训练和个性化

学习。本课题将在联邦学习的架构之上，引入元学习从两个角度分别进行个性化联

邦学习系统的设计：

（1）本文出了一种基于Hypernetwork