人工智能安全-10-对抗攻击的理论与方法.ppt

**提纲对抗样本及存在性对抗样本生成方法对抗样本的概念最早由Szegedy等人于2013年提出，他们通过在输入样本上添加小的扰动来干扰基于深度神经网络的图片识别，使之输出错误分类结果。对于机器学习模型，之所以会存在对抗样本，目前研究发现的原因有以下两方面。（1）模型的高度非线性性质导致了对抗样本的存在，这是Szegedy等人2013年针对神经网络模型的研究提出来的。（2）输入数据的维度高，高维空间中机器学习模型的线性行为导致，使得模型泛化能力不足，无法充分学习到训练数据和标签的映射关系。学习到的分类器如图中直线所示，与真实边界不一致。这样，就产生图中的三个对抗样本区域（#1、#2、#3），落入这些区域的样本都会模型错分而人可以正确区分。白盒攻击方法：白盒对抗样本生成使用的知识主要是目标模型的损失函数，通过函数的导数来获得对抗样本修改方向。主要的方法有，基于梯度的方法（Gradient-basedmethod）、基于优化的方法（Optimization-basedmethod），以及基于生成模型的方法（Generativemodel-basedmethod）。黑盒攻击方法黑盒攻击中，攻击者首先对目标系统进行探测，获得输入及相应输出构成的数据集。在这个基础上，可以运用多个不同方法来生成对抗样本。（1）根据对抗样本生成过程是否有迭代，分为一次计算和多次迭代优化，前者只进行一次计算即生成对抗样本，后者需要多次迭代更新来确定对抗样本。（2）从受扰动样本的范围来看，可以分为针对个体的攻击（IndividualAttack）和针对数据集的攻击（UniversalAttack）。目前的绝大多数攻击都属于IndividualAttack。（3）从扰动限制的角度，分为优化扰动(OptimizedPerturbation)与约束扰动(ConstrainedPerturbation)。提纲对抗样本及存在性对抗样本生成方法对抗样本生成基于梯度的方法基于优化的方法决策树对抗样本对抗生成网络ZOO黑盒攻击FGSMFGSM：FastGradientSignMethod(快速梯度下降法）x是原始原本，x’是修改后的样本，y是类别标签，e是步长。J是损失函数。PGDProjectGradientDescent当损失函数是非线性时，比FGSM更有效MIMMomentumIterativeMethod对每次迭代的梯度方向赋予不同的权值攻击样本生成基于梯度的方法基于优化的方法决策树对抗样本对抗生成网络ZOO黑盒攻击把对抗样本当成一个变量，最优的对抗样本应当满足两个条件：（1）对抗样本和对应的干净样本应该差距越小越好，也就是对抗样本不能被轻易发掘出来；（2）对抗样本要使得模型分类错，且相对于目标类的置信度越小越好。L-BFGS、CW、DeepFool等算法都可以用来进行优化求解。CW调节的参数是c和k其他L-BFGS是limitedBFGS的缩写DeepFoolJSMA遗传算法攻击样本生成基于梯度的方法基于优化的方法决策树对抗样本对抗生成网络ZOO黑盒攻击对于给定的样本，找到其对应的叶节点（3）通过其父节点找到另外子树的所有叶节点，并且叶节点与真实叶节点不同，即{1，2}。获得从样本的真实类节点到预期的被攻击类节点之间的路径，即{g,i}基于这些节点的属性值对给定的样本x进行扰动。攻击样本生成基于梯度的方法基于优化的方法决策树对抗样本对抗生成网络ZOO黑盒攻击GAN基础生成器G的目标是在不直接接触真实数据的情况下，学习真实数据的分布D的目标则是判断输入的数据是G生成的假数据还是真实数据，其输出相应的概率值。训练第一步，固定生成器G，即保持其参数在整个GAN的迭代中不会发生变化，然后优化判别器D。D(x)?1,D(G(Z))?0第二步，固定判别器D，然后优化生成器G。D(G(Z))?1GAN变体GAN的问题主要在于模型的训练困难、容易发生不稳定、生成数据不可控的情况。变体条件生成对抗网络（ConditionGAN，CGAN）信息生成对抗网络（InfoGAN）Wasserstein生成对抗网络(WassersteinGAN)带有梯度惩罚的Wasserstein生成对抗网络（WassersteinGANgradientpenalty）等CGAN增加了条件变量yWGAN、IWGANGAN的损失函数等价于最小化真实数据分布与生成数据分布的JS散度。当两个分布之间没有重叠或很少重叠时，JS散度将会趋向于常量。PQ1Q2WGAN改