面向联邦学习投毒攻击的防御方法研究.pdf

摘要

摘要

随着人工智能技术的兴起，各行各业都开始使用海量数据进行机器学习模

型的训练，以提高效率并为人们提供更便捷的服务。但在保护各方数据隐私的

前提下，如何训练更强大的机器学习模型仍是一个难题。联邦学习可以在保证

参与方数据不离开本地的前提下，协同各参与方共同训练出一个强大的模型。

然而，联邦学习仍然面临着许多安全问题，其中投毒攻击是非常具有威胁性的

攻击方式。由于参与者众多，同时为了充分利用客户的数据而不暴露客户的隐

私，联邦学习的服务端在设计上无法查看模型训练过程中的本地数据和训练过

程。这也为投毒攻击打开了大门，使得联邦学习更容易受到投毒攻击的影响。

为了保护联邦学习的安全性，需要提出相应的防御策略。

在非独立同分布的数据分布下，针对模型替换攻击，提出了基于群组测试

的客户端检测防御策略。模型替换攻击通过引入缩放因子，对毒化更新进行放

大，以达成攻击目标。通过客户端检测的方法进行检测，利用客户端的数据对

模型进行评估，探究现有基于客户端检测防御方案的不足，并针对其提出了一

种更加优化的基于客户端检测的防御方法。该方法引入了群组测试思想，同时

针对检测客户端提出了一种分配策略，以此来改正基于客户端检测的防御方案

的不足。实验结果表明，基于群组测试的客户端检测防御策略可以有效地防御

模型替换攻击。相比于现有的客户端检测方法，基于群组测试的客户端检测方

法可以容忍更高比例的恶意客户端。

在独立同分布的数据分布下，针对具有距离约束的交替最小化攻击，提出

了基于余弦相似度聚类的防御策略。具有距离约束的交替最小化攻击考虑到了

潜在的异常检测机制，在毒化模型的训练过程中引入隐蔽目标实现了攻击的隐

蔽性和有效性。该防御策略通过分析投毒攻击对提交的恶意更新的影响，提出

采用模型之间的余弦相似度作为特征来进行检测。发现良性客户端之间的余弦

相似度小于良性客户端与恶意客户端之间的余弦相似度。通过对每一轮训练过

程中的余弦相似度矩阵进行动态聚类，从而在联邦学习的训练过程中抛弃掉恶

意更新，同时对全局模型的影响较小。实验结果表明，基于余弦相似度聚类的

防御策略可以有效地防御具有距离约束的交替最小化攻击。

关键词：联邦学习；投毒攻击；客户端检测；余弦相似度

-I-

Abstract

Abstract

Withtheriseofartificialintelligencetechnology,variousindustrieshavebegunto

usemassivedatafortrainingmachinelearningmodelstoimproveefficiencyandprovide

moreconvenientservicesforpeople.However,trainingmorepowerfulmachinelearning

modelswhileprotectingtheprivacyofallpartiesinvolvedremainsachallenge.Federated

learningcancooperativelytrainapowerfulmodelwithoutexposinglocaldataortraining

processesontheserverside,butitstillfacesmanysecurityissues,amongwhichpoisoning

attacksarehighlythreatening.Duetothelargenumberofparticipantsandtheneedtofully

utilizetheclients’datawithoutexposingtheirprivacy,theserveroffederatedlearning

cannotviewlocaldataortrainingprocessesduringm