基于网络一致性的对抗样本检测-尹培宇.pdf

BeijingForestStudio

ThenameoftheDepartment

北京理工大学信息系统及安全对抗实验中心

部门名称

基于网络一致性的对抗样本检测

硕士研究生：尹培宇

导师：罗森林

2020年12月20日

内容提要

•背景简介

•基本概念

•算法原理

•应用总结

•参考文献

2

背景简介

•预期收获

–1.了解人工智能系统面临的安全威胁

–2.了解常见的对抗样本检测方法和原理

–3.了解网络安全领域对抗样本的研究现状

3

基于网络一致性的对抗样本检测

背景简介

背景简介

•人工智能安全要素

–完整性（Integrity）：算法模型、数据、基础设施和产品不被恶意植入篡改替换伪

造

–可用性（Availability）：能同时抵御复杂的环境条件和非正常的恶意干扰

–保密性（Confidentiality）：涉及的数据与模型信息不会泄露给没有授权的人；模

型在使用过程中能够保护数据主体的数据隐私

5

背景简介

•人工智能安全威胁

–保密性威胁

•机器学习即服务（MachineLearningasaService,MLaaS）

•将训练数据编码到模型中

•基于模型逆向生成与私密训练数据相似的数据

–完整性威胁

•篡改训练数据集，使模型“中毒”

–可用性威胁

•异常输入，恶意扰动

•机器学习框架漏洞利用

6

基于网络一致性的对抗样本检测

基本概念

基本概念

•后门攻击

–在大多数输入(包括最终作为验证集的输入)上表现良好，但会导致有针对性的误分类

或降低输入具有某些属性(称为后门触发器)时模型的准确性。

–人脸识别、交通标志检测、情感分析、语音识别和自动驾驶

8

基本概念

•对抗样本生成

–基于梯度的方法：攻击者将生成对抗性样本视为优化问题，并进行梯度引导搜索以

找到对抗性样本

–基于内容的方法：攻击者添加与输入的真实内容语义一致的补丁，以模拟真实世界

的场景。（如图像上的水印和相机镜头上污垢造成的黑点）

9

基本概念

•对抗样本在其他领域的应用

–文本分类：不改变文本语义

–恶意软件检测：不影响恶意软