2023 OWASP机器学习安全风险 TOP 10.docx

OWASP机器学习安全风险TOP10

SP

致谢

项目领导

oAbrahamKangoShainSingh

oSagarBhure

RobvanderVeer

贡献者

VamsiSumanKanukolluoMSNishanth

oBuchibabuBandarupallyoJamiesonO’Reilly

oAshishKaushikoJakubKaluzny

oDavidOttenheimeroHaralTsitsivas

感谢以下中文项目参与人员（按拼音顺序排列）：

戴楚南、吴楠、肖文棣、张坤、张淼

英文项目地址：

/www-project-machine-learning-security-top-10/

1

OWASP机器学习安全风险TOP10

SP

十大风险列表

ML01:2023

对抗性攻击

AdversarialAttack

当攻击者故意更改输入数据以误导模型时，就会发生对抗性攻击。

ML02:2023

数据投毒攻击

DataPoisoningAttack

当攻击者操纵训练数据导致模型以不良方式运行时，就会发生数据投毒攻击。

ML03:2023

模型反转攻击

ModelInversionAttack

当攻击者对模型进行逆向工程以从中提取信息时，就会发生模型反转攻击。

ML04:2023

成员推理攻击

MembershipInferenceAttack

当攻击者操纵模型的训练数据以使其行为暴露敏感信息时，就会发生成员推理攻击。

ML05:2023

模型窃取

ModelStealing

当攻击者获得对模型参数的访问权时，就会发生模型窃取攻击。

ML06:2023

损坏的组件包

CorruptedPackages

当攻击者修改或替换系统使用的机器学习库或模型时，就会发生损坏的组件包攻击。

ML07:2023

迁移学习攻击

TransferLearningAttack

当攻击者在一个任务上训练模型，然后在另一个任务中对其进行微调，导致结果未按照预期产生，就会发生迁移学习攻击。

ML08:2023

模型偏斜

ModelSkewing

当攻击者操纵训练数据的分布，导致模型以不希望的方式运行时，就会发生模型偏斜攻击。

ML09:2023

输出结果完整性攻击OutputIntegrityAttack

当攻击者的目的是为了改变其ML模型的行为或对使用该模型的系统造成损害，从而修改或操纵ML模型的输出结果，就会发生输出结果完整性攻击。

ML10:2023

神经网络重编程

NeuralNetReprogramming

当攻击者操纵模型的参数使其以不良的方式运行时，就会发生神经网络重编程攻击。

2

OWASP机器学习安全风险TOP10

SP

ML01:2023对抗性攻击AdversarialAttack

风险图表RiskChart

威胁代理攻击载体

威胁代理

攻击载体

安全弱点

安全弱点

。

。影响

应用描述

可利用性：5

可检测性:3

技术:5

威胁代理：具有深度学习和图像处理技术知识的攻击者。

深度学习模型准确分类图像的能力存在漏洞。

图像分类错误，导致安全绕过或对系统造成损害。

攻击向量：故意制作与合法图像相似的对抗性图像。

攻击场景示例ExampleAttackScenario

场景1：图像分类

场景1：图像分类

训练深度学习模型将图像分类为不同的类别，例如狗和猫。攻击者创建了一个与猫的合法图像非常相似的对抗图像。该对抗图像带有一些精心设计的小扰动，导致模型将其错误分类为狗。当模型部署在真实环境中时，攻击者可以使用对抗图像绕过安全措施进而对系统造成危害。

场景2：网络入侵检测

场景2：网络入侵检测

训练一个深度学习模型来进行网络入侵检测。攻击者通过精心制作数据包来创建对抗性网络流量，从而使它们能够逃避模型的入侵检测系统。攻击者可以操纵网络流量的特征，例如源IP地址、目标IP地址或负载，从而使入侵检测系统无法检测到它们。例如，攻击者可能会将其源IP地址隐藏在代理服务器后面或加密其网络流量的有效负载。这种类型的攻击可能会导致数据被盗、系统受损等严重后果。

预防措施ExampleAttackScenario

对抗性训练

防御对抗性攻击的一种方法是在对抗性示例上训练模型。这可以帮助模型对攻击的识别变得更加敏锐，并降低其被误导的可能性。

稳健模型

另一种方法是使用旨在抵御对抗性攻击的模型，例如对抗性训练或包含防御机制的模型。

输入验证

输入验证是另一个