XDef2018-DEEPSEC：面向深度学习模型的安全性评估系统-凌祥.pdf

报告题目：面向深度学习模型的安全性评估系统 主讲人姓名：凌祥 主讲人单位：浙江大学 计算机学院 1 提纲 • 背景介绍 • 系统设计 • 实验评估 • 案例研究 • 结论 2 深度学习在安全领域的应用 自动驾驶 人脸识别 医疗诊断 恶意软件检测 3 对抗样本攻击 正常样本 + 轻微扰动 = 对抗样本  人类难易察觉  欺骗深度学习模型 4 * Dong, Yinpeng, et al. “Boosting adversarial attacks with momentum.”arXiv:1710.06081(2017). 攻击 VS 防御  攻击 给定目标模型 f 和正常样本 x ，找到与 x 非常接近的对抗样本x ，使得 f(x) ≠ 0 0 f(x ) ，或者 f(x) = y ≠ f(x ) 0 0 < 白盒攻击 & 黑盒攻击 >  防御 增加深度学习模型对对抗样本的识别能力（完全防御或者检测防御）  军备竞赛 当前不断提出大量的对抗样本攻击与防御方法 。。。 5 攻击/防御方法的实际效果？ 6 优势与局限很大程度未知 1. 只用简单的度量评估攻击与防御方法 • 例如，攻击方法一般只用误分类率来度量 困惑甚至 2. 只用少量的攻击/防御来度量新的方法 矛盾结论 • 例如，很多防御方法只用一两个所谓“最强”攻击来评估 例如 ，Defensive Distillation 防御（有效， 3. 不断的军备竞赛会使之前的方法迅速失效 略微有效，无效甚至比未防 御更差） • 例如，许多采用梯度混淆的防御方法后来被证明是无效的