人工智能通识-初二下- 深度学习的挑战：对抗样本（学案）.docxVIP

《深度学习的挑战：对抗样本》学案

一、对抗样本的概念

对抗样本，简单来说，就是那些看起来和普通样本没什么区别，但却能让深度神经网络产生错误判断的样本。

二、对抗样本的生成方式

（1）添加噪声：通常的方法是找到一个让模型输出变化最大的方向，在这个方向对照片做微小修改，即可得到一个对抗样本。

（2）旋转或缩放：对图片进行轻微的旋转或缩放（枪识别捕鼠器的例子）。

（3）实践活动：以小组为单位，制作一本“对抗样本相册”。相册中包含至少五组图像，每组图像都要有原始图像和经过你们小组精心制作的对抗样本图像，并且要针对每一组图像详细说明你们是采用何种方式生成对抗样本的，以及这种生成方式是如何影响图像在深度学习模型中的识别结果的。

三、对抗样本的成因

（1）利用苹果的例子：“我们用一些苹果的图片来训练一个神经网络，神经网络发现这些斑点可以完美区分训练集中的苹果和其他水果，因此就把它当成是苹果的特征。显然，如果加入一些斑点破坏掉以后，对机器来说却是个巨大的变化，至少不再是苹果了。反过来，我们也可以在任意一张图片上把这种斑点加进去，人看起来没什么，但对机器来说却是个完美的苹果。”进行解释。

（2）小组讨论：将学生分成小组，围绕“如何防范对抗样本带来的风险？”进行讨论。