面向人工智能系统的“万能钥匙”攻击及其防范方法.pdfVIP

2024.8.20ArtificialIntelligence

iChina人工智能

面向人工智能系统的

“万能钥匙”攻击及其防范方法

文｜国网思极网安科技（北京）有限公司刘正坤陈华赵静霍钰崔宇

在生成式人工智能中，直接提示注入攻击是构性活动，如网络攻击、隐私侵犯、社交工程等。例

造恶意的用户输入，试图绕过人工智能模型的预期行如，使用自然语言处理模型生成欺骗性邮件或利用机

为。成功的直接提示注入攻击有可能颠覆模型通过人器学习模型规避反欺诈系统。

工智能供应商的训练构建的大部分人工智能（RAI）海绵攻击：通过特制输入消耗AI模型的硬件资

防护措施。微软威胁情报中心发现了一种最新的直接源，实施拒绝服务攻击，导致系统崩溃。

提示注入攻击，被称为“万能钥匙”攻击。本文介绍AI大模型窃取攻击：攻击者尝试获取训练好的AI

了这种攻击的实现细节，以及防范的方法。模型的权重和参数，不必从头开始训练自己的模型。

这可能基于模型抽取攻击或模型复制攻击。

一、生成式人工智能面临的主要网络安全威胁提示注入攻击：攻击者通过恶意提示词劫持AI

生成式人工智能（GenerativeAI）是当前最重要模型的输出过程，突破内容生产规则限制。例如，

的创新技术之一，它通过复杂的算法、模型和规则，利用AI模型发布欺诈内容或制作包含非法信息的电

从大规模数据集中学习，以创造新的原创内容。这种子邮件。

技术能够生成文本、图片、声音、视频和代码等多种逃逸攻击：攻击者构造对抗样本以欺骗AI模型，

类型的内容，全面超越了传统软件的数据处理和分析从受限环境逃离，获取更高权限。这种攻击可能发生

能力。然而，随着生成式人工智能的广泛应用，网络在操作系统、虚拟化平台等多种系统中。

安全问题也日益突出。生成式人工智能面临多种网络

安全威胁：二、“万能钥匙”攻击简介

数据投毒攻击：攻击者在AI的训练数据中加入异这种AI攻击技术的工作原理是使用多轮（或多

常数据，导致模型产生错误输出。这种攻击可以针对步）策略使模型忽略对其的防护。一旦忽略防护，模

在线学习场景或需要定期更新的系统，如推荐系统或型将无法确定来自任何恶意或未经批准的请求。由于

垃圾邮件检测系统。这种攻击方式具备完全绕过模型防护的能力，可以针

AI生成恶意软件：利用生成式AI帮助黑客制作恶对各种AI模型产生效果，所以被命名为“万能钥匙”

意软件，快速发现系统漏洞，扩大攻击规模。例如，攻击。

非专业性的犯罪分子利用ChatGPT生成勒索软件代这种威胁属于直接提示注入攻击，因此前提条

码，并发现自动生成的零日漏洞。件是攻击者已经拥有对AI模型的合法访问权限。在

武器化模型：攻击者使用AI模型进行非法或破坏绕过保护措施时，“万能钥匙”允许用户使模型进

30

行一些通常情况下被禁止的行为，这些行为包括生成的影响：

有害内容，甚至超越其通常的决策规则。与所有直接•MetaLlama3-70b-instruct(base)

提示注入攻击一样，其影响可以理解为缩小模型能力•GoogleGeminiPro(base)

（给定用户凭据等）与其愿意之间的差距。由于这是