原创力文档- 1、本文档共32页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
ThenameoftheDepartment
BeijingForestStudio
部门名称
北京理工大学信息系统及安全对抗实验中心
基于知识蒸馏的模型窃取方法
硕士研究生丁杨
2021年11月14日
内容提要
•背景简介
•基本概念
•算法原理
•优劣分析
•应用总结
•参考文献
2
背景简介
•预期收获
–1.了解模型窃取方法的发展历史
–2.理解基于知识蒸馏的模型窃取方法的技术原理
–3.了解模型窃取在网络安全领域中的应用
3
背景简介
•人工智能的发展
–推动社会经济各个领域从数字化、信息化向智能化发展
–面临着严重的安全性威胁
4
背景简介
•模型窃取的发展历史
–2016年，Tramer等人通过求解从机器学习模型结构导出的方程来提取模型的参数，
但只限于SVM、随机森林等简单的模型
–2017年，Papernot以牺牲替代模型的准确性为代价，通过近似目标模型的决策边
界，近似窃取了DNN模型
–2018-2019年，Orekondy等一些科学家先后在已知训练数据、已知训练数据种子样
本等条件下，实现了对DNN的窃取
–最新的研究则关注如何在未知训练数据的情况下进行模型窃取
5
基本概念
基本概念
6
基本概念
•模型窃取
–概念：一类隐私数据窃取攻击，攻击者通过向目标模型进行查询获取相应结果，
窃取目标模型的参数或者对应功能
–目的：
•免费使用模型
•进行对抗攻击
–方法
•构建方程求解参数
•训练替代模型
7
基本概念
•知识蒸馏
–概念：把复杂模型或者多个模型（Teacher）学到的知识迁移到另一个模型
（Student）上
–本质：模型压缩，让小模型去学习大模型的知识，即让Student模型的输出拟合
Teacher模型的输出
–Teacher模型和Student模型没有网络结构的限制
8
基本概念
•相对熵
–概念：又称为Kullback-Leibler散度（Kullback-Leiblerdivergence）或信息散度
（Informationdivergence），是两个概率分布差异的非对称性度
文档评论（0）