面向非独立同分布数据的联邦知识蒸馏算法.pdfVIP

小型微型计算机系统2025年6月第6期

DOI:10.20009/j.cnki.21-1106/TP.2024-0189

JournalofChineseComputerSystemsVol.46No.62025

面向非独立同分布数据的联邦知识蒸馏算法

陈聪,李京

（中国科学技术大学计算机科学与技术学院，合肥230000）

E-mail:lj@ustc.edu.cn

摘要：通过在本地训练阶段引入知识蒸馏技术，可以有效保护全局模型的潜在知识，从而缓解联邦学习中的知识遗忘问题，

然而，全局模型识别不同类别数据的能力差异很大，在训练样本上直接使用经典的交叉炳蒸馏损失可能会对本地模型造成误

导，为了解决这个问题，本文提出了一种面向非独立同分布数据场景的联邦蒸馏算法.该算法在原始训练样本上使用基于知识

解耦和全局模型预测置信度加权的蒸馏损失函数，以避免全局模型的错误预测产生的负面影响；以及通过激进的数据增强方法

破坏原始样本的关键特征，在生成样本上使用交叉炳蒸馏损失进行训练，进一步提升蒸馏效果.实验结果表明，本文提出的方法

能够有效地缓解非独立同分布数据场景中的知识遗忘现象，在收敛速度和测试精度上优于其它现有算法.

关键词：联邦学习；知识蒸馏；知识遗忘；数据异质性；数据增强

中图分类号：TP391文献标识码：A文章编号：1000-1220(2025)06-1289-09

KnowledgeDistillationforFederatedLearningwithNon-IIDData

CHENCong,LIJing

(SchoolofComputerScienceandTechnology,UniversityofScienceandTechnologyofChina,Hefei230000,China)

Abstract:Introducingknowledgedistillationduringlocaltrainingphasecaneffectivelypreservethepotentialknowledgeoftheglobal

modelandmitigatetheknowledgeforgettingprobleminfederatedlearning.However,theglobalmodelsrecognitionabilityondiffer-

entcategoriesofdatavariesgreatly,thusdirectlyapplyingclassicalcross-entropydistillationlossontrainingsamplesmaymisleadlo-

calmodels.Toaddressthis,thispaperproposesafederateddistillationalgorithmfornon-independentandidenticallydistributeddata

scenarios.Toavoidthenegativeimpactofincorrectpredictionsbytheglobalmodel,themethodutilizesadistillationlossfunction

basedonknowledgedecouplingandglobalmodelspredictionconfidenceweightingonoriginaltrainingsamples.Additionally,the

methoddestroyskeyfeaturesoforiginalsamplesthroughaggressivedataaugmentation,andapplycross-entropydistillationlosson

generatedsamplestofurtherimprovethedistilationeffect