大模型安全边界：揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策略PPT.docx

大模型安全边界:揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策略

KelpAIBeta作者宁宇飞

2024.05.18

AboutMe

宁宇飞

KelpAIBeta作者

KelpAIBeta作者

12年软件/网络开发经验，前端/后端半全栈

安全开发与安全研究

专注大模型安全与大模型在安全领域中的应用落地

提示注入攻击

提示注入攻击

会话共享漏洞

AI幻觉毒化策略总结与挑战

CONTENTS

目录

概要

随着大语言模型/AI的普及以及广泛应用，确保模型的输入/输出安全非常重要。本次分享主要针对三个常见的商业AI中最常见的三种安全场景，借此抛砖引玉。

1.提示注入攻击：这类攻击发生在攻击者通过设计特定的输入（提示），诱导AI模型产生错误或恶意的输出。这种策略可以用来绕过AI的预期行为，获取敏感信息或促使AI作出不利于用户的决策。

2.会话共享漏洞：在多用户环境中，会话共享可能导致用户间的信息泄露。特别是在AI模型中，如果不同的用户请求能

够互相影响，就可能泄漏用户的私人信息或影响模型的行为。

3.AI幻觉毒化策略：这是一种数据幻觉的形式，通过在训练数据中注入错误或误导性信息，使得模型学习到错误的行

为模式。这种策略可以被用来降低模型的性能，或使模型在特定情况下表现出预定的行为。

大模型安全以”输入/输出”维度的2点区分：输入

1.提示注入（Promptinjection）：通过输入特制的提示（命令或数据），以误导模型执行不当的操作或产生错误的

输出。

2.训练数据中毒（Trainingdatapoisoning）：在模型训练阶段，恶意修改输入数据，导致模型学习到错误或有偏差

的行为。

3.供应链漏洞（Supplychainvulnerabilities）：攻击者通过供应链环节对输入数据、模型组件或训练环境进行篡改，

从而影响模型性能和安全。

4.过度依赖（Overreliance）：用户或系统对模型的判断过于依赖，未能充分考虑到模型输入的局限性或偏差可能导

致的风险。

大模型安全以”输入/输出”维度的2点区分：输出

1.不安全的输出处理（Insecureoutputhandling）：模型输出未经适当处理直接用于决策或显示，可能导致错误决

策或信息泄露。

2.数据泄露/敏感信息泄露（Dataleakage/sensitiveinformationdisclosure）：模型输出包含敏感信息或暗示内

部结构的细节，可能导致数据泄露或被利用来攻击模型本身。

3.不安全的插件设计（Insecureplug-indesign）：模型的插件或扩展设计不当，可能导致输出被篡改或引发其他安

全问题。

4.过度授权（Excessiveagency）：模型被赋予过多的决策权力，其输出可能导致不当的自动化决策，例如在没有充

分监督的情况下执行关键任务。

01

提示注入攻击

什么是提示（Prompt/prɑ:mpt/）?

当我们与AI语言模型交互时，如ChatGPT、GoogleGemini等，我们提供一个提示，以问题、句子或简短段落的形式。提示是输入到AI的内容。让我们来看几个示例：

01文、图之间的Prompt

02不同类型提示的例子:简单提示、复杂提示和指示提示

03多种类型的Zero-shotPrompt

04多种类型的Few-shotPrompt

什么是提示注入攻击?

提示注入攻击是指恶意操纵提供给AI系统的输入提示，以欺骗、破坏或利用其行为的行为。这种攻击的目标可能因情境而异。

来看一个示例：

实操

攻击的具体方式和实例

1.偏见注入（BiasInjection）：向AI注入有偏见或有害的提示，以影响AI的输出，促使其传播虚假信息、仇恨言论或歧视性内容。

2.数据毒化（DataPoisoning）：在AI训练过程中引入有污染或误导性的提示，以损害模型的性能并导致其产生错误结果。

3.逃避（Evasion）：精心设计提示，旨在规避AI的安全或检测机制，使恶意活动不被察觉。

4.模型利用（ModelExploitation）：操纵提示，导致AI模型执