人工智能技术导论课件 第4章-对抗样本攻击与防御.pptxVIP

;;;对抗样本的基本原理;深度学习模型的训练过程如下图所示，由和求出损失函数，通过反向传播算法求出梯度并优化模型，不断减小损失函数的值，直到模型收敛。;一般来说对于一个训练好的模型，输入样本x即可得到预测结果y。假设有一个非常小的扰动使得下式成立，即模型的预测结果发生改变，那么就是一个对抗样本，构造的方式就称为对抗样本攻击。;以二分类问题为例，直观地解释对抗样本攻击的基本原理。如下图，一个通过DNN训练的模型f，得到一个分类超平面，生成对抗样本的过程就是在数据上叠加扰动，使其跨越超平面，将超平面一侧的红色数据识别为绿色数据。;;对抗样本攻击的分类;定向与非定向攻击;白盒与黑盒攻击;黑盒攻击：攻击者在不知道目标模型任何内部信息的情况下实施攻击的方法。黑盒攻击是把目标模型看作黑盒，不能获取模型的梯度信息以及输出的预测概率等任何信息，只能通过控制输入得到有限的输出来实施攻击。正因为不需要掌握相关的目标模型信息，因此黑盒攻击更容易在低控制权场景下部署实施。黑盒攻击示意图如下所示：;对抗样本攻击技巧与思路

对抗样本攻击的核心在于如何产生使模型预测出错并尽可能小的扰动。根据产生扰动的方式不同，可以将对抗样本攻击的方法分为基于优化的攻击(Optimization-basedAttacks