注意力机制驱动的个性化联邦学习特征分离方法.pdfVIP

第42卷第4期计算机应用研究Vol.42No.4

2025年4月ApplicationResearchofComputersApr.2025

注意力机制驱动的个性化联邦学习特征分离方法*

张晓琴1²，金西兴，陆艳军，曹泽宇1

（1.重庆理工大学计算机科学与工程学院，重庆400054；2.重庆市信息通信咨询设计院有限公司，重庆

400041)

摘要：提出了一种名为注意力机制驱动的个性化联邦学习特征分离方法（attention-drivenfeatureseparation

methodforpersonalizedfederatedlearning,FedAM），旨在解决传统联邦学习在高度异构数据环境下模型收敛性差

和缺乏个性化解决方案的问题。FedAM通过将模型分解为特征提取层和模型头部，加入注意力模块以分别提取

全局和个性化信息，从而实现全局与个性化特征的自适应动态分离。此外,FedAM引入相关性对齐损失来平衡

个性化与泛化能力。实验结果表明,FedAM展现出卓越的性能，不仅在客户端频繁掉线的情况下保持稳健表现，

还通过灵活应对异构数据环境，显著提升了个性化和泛化效果。FedAM有效提升了联邦学习模型的整体性能

和适应性，为复杂的联邦学习场景提供了有力支持。

关键词：数据异构；注意力机制；参数分离；个性化联邦学习

中图分类号：TP181文献标志码：A文章编号：1001-3695(2025)04-018-1102-06

doi:10.19734/j.issn.1001-3695.2024.09.0325

Attention-drivenfeatureseparationmethodforpersonalizedfederatedlearning

ZhangXiaoqin2,JinXixing,LuYanjunt,CaoZeyu

(1.SchoolofComputerScienceEngineering,ChongqingUniversityofTechnology,Chongqing400054,China;2.ChongqingCommunica-

tionDesignInstituteCo.,Ltd.,Chongqing400041,China)

Abstract:ThispaperproposedanFedAMtoaddressthechallengesofpoormodelconvergenceandthelackofpersonalized

solutionsinhighlyheterogeneousdataenvironmentsfacedbytraditionalfederatedlearning.FedAMachievedadaptive,dyna-

micseparationofglobalandpersonalizedfeaturesbydecomposingthemodelintoafeatureextractionlayerandamodelhead,

withanaddedattentionmoduletoextractglobalandpersonalizedinformationseparately.Additionally,FedAMincorporated

correlationalignmentlosstobalancepersonalizationandgeneralizationcapabilities.Experimentalresultsdemonstratethat

FedAMexhibitsoutstandingperformance,mainta