人工智能安全：原理与实践 课件 第4章 对抗样本生成算法的安全应用 .pptx

第4章对抗样本生成算法的安全应用4.1对抗样本生成算法原理介绍

本章介绍对抗样本生成算法主要用于生成能够欺骗机器学习模型的输入样本。这些算法通过在原始输入数据中添加微小的、难以察觉的扰动，使得模型做出错误的预测。本章介绍如何使用对抗样本生成算法高效生成对抗样本，并将其应用于图形对抗当中，欺骗所使用的神经网络，使其做出与正确答案完全不同的判定。本章将编程实践两个经典的对抗样本生成算法FastGradientSignMethod(FGSM)算法和ProjectedGradientDescent(PGD)算法。

1.对抗样本生成攻击在人工智能，特别是深度学习领域，神经网络模型的应用已经深入各个领域，如图像识别、语音处理、自动驾驶等。然而，研究表明，这些看似强大的模型实际上对某些精心设计的输入非常脆弱。对抗样本生成攻击（AdversarialAttack）是通过在输入数据上施加细微扰动，使模型产生错误预测的一类攻击手段。这种攻击表面上看起来无害，但可以导致系统崩溃、误分类，甚至产生严重的安全隐患，例如在自动驾驶场景中，对抗样本可能导致车辆错误地识别交通标志。

1.对抗样本生成攻击对抗样本生成攻击的一般工作流程如图所示。这里使用的经典案例来源于首次系统研究对抗样本的论文，展示了通过添加微小的噪声使得神经网络将熊猫误分类为长臂猿。

2