联邦学习的后门防御方法-杨得山.pdfVIP

BeijingForestStudio

ThenameoftheDepartment

北京理工大学信息系统及安全对抗实验中心

部门名称

联邦学习的后门防御方法

硕士研究生杨得山

2023年04月09日

内容提要

•背景简介

•基本概念

•算法原理

–RFOut-1d

–FLAME

•优劣分析

•应用总结

•参考文献

2

背景简介

•预期收获

–了解联邦学习后门攻击与防御的基本概念

–理解联邦学习后门防御的算法原理

–了解联邦学习后门攻击与防御发展方向

3

问题思考

集中式模型训练

上述训练方式有问题吗？

4

背景简介

•人工智能技术的不断发展

–传统集中式机器学习的方式带来数据碎片化和孤岛分

布的问题，无法充分利用数据资源

–数据安全问题时有发生，对人工智能应用中的数据隐

私保护和所有权问题关注度不断提高

构建安全桥梁，释放数据价值！

5

背景简介

•联邦学习的安全性问题

–分布式特性引入新的攻击面，在许多不可信的设备上训练模

型，如何保护模型安全？

–攻击者能够将“后门”或“木马”植入到模型中，并在预测

阶段通过简单的后门触发器完成恶意攻击行为

停车标志及其受后门攻击的版本

单词预测

发展的眼光看待技术方法！6

基本概念

•联邦学习（FederatedLearning,FL）

–联邦学习的参与方在保留数据本地化的前提下，通过只交换模型训练中间结果，

如模型参数、梯度等，实现多方联合的机器学习训练

–优势

•数据不出本地，模型的训练与聚合不泄漏用户的个人隐私

•分布式训练，提升AI模型训练效率和资源利用效率

•后门攻击（BackdoorAttack,BA）

–攻击者意图让模型对具有某种特定特征的数据做出错误的判断，但不会对模型主

任务产生影响

–追求可控性与隐蔽性

BFS最新相关报告：基于模型修改的深度学习后门攻击（吴肖龙）

7

基本概念

•联邦学习原理

–正常更新

−1−1

•=+∑−

=1