对抗性扰动下的后门防御方法-赵怡清.pdfVIP

BeijingForestStudio

ThenameoftheDepartment

北京理工大学信息系统及安全对抗实验中心

部门名称

对抗性扰动下的后门防御方法

硕士研究生赵怡清

2024年01月14日

问题回溯

•相关内容

–后门攻击检测/防御

•2023.10.29李嘉玮：《深度学习后门攻击检测中的功守道》

•2023.06.26sabazaib：《DeepLearningBackdoorAttacksDetection》

•2023.04.09杨得山：《联邦学习的后门防御方法》

•2021.08.22尹培宇：《机器学习模型后门攻击检测》

–后门攻击

•2023.03.19吴肖龙：《基于模型修改的深度学习后门攻击》

•2022.08.28杨得山：《联邦学习的后门攻击方法》

•2022.05.16郝靖伟：《联邦学习及其后门攻击方法初探》

•2021.08.15韩飞：《深度神经网络后门攻击》

2

内容提要

•预期收获

•内涵解析

•研究背景与意义

•研究历史与现状

•知识基础

•算法原理

–AdversarialNeuronPruningPurifiesBackdooredDeepModels（ANP）

–SharedAdversarialUnlearning:BackdoorMitigationbyUnlearningShared

AdversarialExamples（SAU）

•未来展望

•参考文献

3

预期收获

•预期收获

–了解对抗性扰动和后门攻击的关系

–掌握深度神经网络模型后门防御的理论问题

–掌握以对抗性扰动和后门攻击关系为基础的后门防御方法的算法原理

–了解深度神经网络模型后门防御的发展趋势和未来前景

4

内涵解析对抗性扰动下的后门防御

•研究目标

–目前大多数后门防御是面向DNN的图像分类模型，在向其他领域拓展

–研究在不影响模型正常预测行为的前提下消除后门行为

–结合对抗性扰动、取消学习等相关理论，实现在模型预测准确率基本不变的情况

下，后门攻击成功率显著降低

•内涵解析

–后门防御：通过神经元剪枝、取消学习等方式阻止攻击者使用触发器样本控制

DNN模型的输出

–对抗性扰动：在输入数据中添加一些微小但故意的扰动，使得DNN模型对输入做

出错误的判断

5

背景意义对抗性扰动下的后门防御

•研究背景

–随着深度学习的规模不断扩大，其训练数据要求也随之增加

•迫使从业者将训练数据的管理自动化并外包

•直接下载现成的预训练模型，以实现先进的性能

–保障自动驾驶、医疗辅助诊断、人脸识别等安全敏感任务的安全性

•研究意义

–训练一个DNN模型耗费大量的时间、计算资源，直接放弃包含后门的模型重