面向异构数据的自适应联邦学习框架研究.pdf

面向异构数据的自适应联邦学习框架研究

摘要

近些年，随着不同行业信息化水平的提高，对隐私保护需求也在不断提升，

随之而来是联邦学习的快速发展。作为隐私保护的重要框架，联邦学习能够在

保护个人数据的隐私前提下实现多方数据协作应用。但也存在因数据异构导致

的一些问题：纵向联邦学习中加密对齐数据不足、个性化联邦学习客户端准确

率效果不佳、联邦学习如何处理多模态数据等。基于此，本文做了如下研究：

纵向联邦学习中往往因加密对齐数据不足，导致训练样本数据减少，从而

限制了联邦模型的学习效果。如何提升加密对齐数据在联邦学习中的数量，以

此改进模型学习效果尚缺乏研究。因此，本文提出一种基于变分自编码器高斯

VAEGMC-VFL

混合深度聚类联邦学习（）模型，该模型能够利用变分自编码器

VAEGMC

（）的特征抽取能力以及高斯混合聚类（）对多样性数据集的聚类，

进一步挖掘大量潜在可用样本参与联邦学习，进一步提升了模型准确率。

Not-IID

由于海量参与方的出现，以及非独立同分布（）数据特性的原因，

使得联邦学习数据成本以及个性化学习效率受到影响。其中包括由于联邦学习

KD

中模型聚合后，使用知识蒸馏（）压缩模型而导致各客户端准确性不足的问

DKD-PFL

题。本文提出了一种基于鉴别器知识蒸馏个性化联邦学习（）模型，

每个本地客户端都引入一个鉴别器，通过对抗训练的方式，使得各客户端个性

化模型的准确率提升。

在联邦学习中，各用户的数据可能呈现多模态形式，例如文本、图像、数

值等。随着多模态数据的广泛存在，有效整合不同模态的特征信息对于提升联

邦学习模型具有重要意义。本文提出了一种基于多模态数据处理的联邦学习

MDP-FL

（）模型，该模型在不同客户端之间联合学习，将来自多个模态的特征

进行有序融合。这种方式允许模态之间的信息互补，提升联邦学习模型的泛化

能力和性能。实验结果表明，多模态特征融合在联邦学习模型中取得了较好的

效果，相较于传统的单一模态联邦学习方法有了明显的提升。

关键词联邦学习；知识蒸馏；个性化联邦学习；隐私保护；多模态联邦学习

-I-

Researchonadaptivefederatedlearningframework

forheterogeneousdata

Abstract

Inrecentyears,withtheimprovementofthelevelofinformationtechnologyin

differentindustries,thedemandforprivacyprotectionisalsoincreasing,followedby

therapiddevelopmentoffederatedlearning.Asanimportantframeworkforprivacy

protection,federatedlearningcanrealizemulti-partydatacollaborationapplications

underthepremiseofprotectingtheprivacyofpersonaldata.However,therearealso

someproblemscausedbydataheterogeneity,suchasinsufficientencryption

alignmentdatain