人工智能安全：对抗样本检测与模型鲁棒性增强技术.docxVIP

人工智能安全：对抗样本检测与模型鲁棒性增强技术

一、对抗样本与鲁棒性概述

1.1对抗样本定义

对抗样本：通过在原始输入样本中添加精心设计的微小扰动，生成的会导致机器学习模型做出错误预测的新样本。

目标性对抗样本：旨在使模型预测特定错误结果。

非目标性对抗样本：仅需模型预测错误即可，结果不重要。

1.2模型鲁棒性定义

模型鲁棒性：指机器学习模型在面对输入数据的微小变化、噪声或对抗性攻击时，保持预测正确性的能力。

鲁棒性增强：旨在提高模型对各种潜在扰动的抵抗力。

1.3重要性与挑战

安全性：对抗样本被广泛应用于生成后门攻击、物理世界攻击（图像识别车牌/行人）、医疗诊断误判等，严重威胁AI系统