基于输入输出扰动的模型窃取防御方法-张辰龙.pdfVIP

BeijingForestStudio

ThenameoftheDepartment

北京理工大学信息系统及安全对抗实验中心

部门名称

基于输入输出扰动的模型窃取防御方法

硕士研究生张辰龙

2024年07月14日

问题回溯

•总结反思

–增加一些基础性知识，保证讲解的完整性

–部分地方语速偏快，可以适当进行调整，把控整体节奏

–语音语调较为平缓，学习找到讲解的感觉，抓住听众的注意力

•相关内容

–2023.09.17张辰龙《深度神经网络模型窃取防御方法》

–2023.03.12邢凤桐《深度神经网络模型水印保护方法》

–2023.03.05张辰龙《深度神经网络模型窃取检测》

–2021.01.03王琛《深度神经网络对抗样本防御方法》

2

内容提要

•预期收获

•题目内涵解析

•研究背景与意义

•研究历史与现状

•知识基础

•算法原理

–APGP

–APMSA

•特点总结与工作展望

•参考文献

3

预期收获

•预期收获

–了解深度神经网络模型防御整体框架

–理解深度神经网络模型窃取防御的算法原理及其理论问题

–通过学习最优化问题的构建、求解、优化思路，为其他研究方向提供灵感

–了解深度神经网络模型窃取防御的重要意义

4

目标内涵

•研究目标

–通过对模型的输入输出进行修改，减小查询样本引发的信息泄露

–降低攻击者窃取所得替代模型的预测准确率

•题目内涵解析查询样本

–模型窃取防御的三类方式云端模型

•扰动输入、扰动输出、扰动模型决策边界

预测向量

–输入扰动

•将输入样本经过修改后再经过模型预测

•通过更大的噪音覆盖掉攻击者精心设计的微小扰动

–输出扰动

•将输出预测向量进行修改，提供错误的或具有误导性的预测向量

5

背景意义

•研究背景

–部署在云端的模型（黑盒），向用户提供查询接口

–攻击者：构造样本→利用查询接口获得预测向量→利用样本、向量训练本地模型

•研究意义

–保护权益：模型训练需要很大的代价，模型拥有者通过向每次查询收费来收回成

本，窃取模型后可以绕过付费查询

–保护隐私：窃取后的模型与原模型具有相似的决策边界，可以为对抗样本攻击、

成员推理攻击、模型反演攻击等提供跳板

–保护知识产权：保证深度神经网络模型的知识产权，促进数据共享

6

研究历史