大语言模型越狱攻击-贺晨阳-2024.12.1.pdf

BeijingForestStudio

ThenameoftheDepartment

北京理工大学信息系统及安全对抗实验中心

部门名称

大语言模型的越狱攻击

硕士研究生贺晨阳

2024年12月1日

问题回溯

•相关内容

–2024.08.25张浩然《大模型赋能的模糊测试用例生成技术》

–2024.09.28刘洧光《人工智能模型的公平性测试》

–2024.11.24刘栋涵《利用大模型进行根因分析的方法》

2

内容提要

•预期收获

•内涵解析与研究目标

•研究背景与意义

•研究历史与现状

•知识基础

•算法原理

–EnDec

–ActorAttack

•特点总结与未来展望

•参考文献

3

预期收获

•预期收获

–掌握越狱攻击的基本概念、研究背景和意义

–了解越狱攻击的基本方法原理

–了解越狱攻击未来发展方向

4

内涵解析与研究目标

•研究目标

–利用大语言模型内部处理机制的漏洞，引导模型生成有害、不当甚至违法的内容

•题目内涵解析

–大语言模型：GPT等基于Transformer架构的大规模预训练语言模型，可应用于代

码生成、自然语言处理等任务

–越狱攻击：指通过精心设计的输入，绕过大语言模型的安全限制，诱导模型产生

违反其设计初衷或安全准则的输出

5

研究背景与意义

•研究背景

–大语言模型领域技术突破

•LLM在数学、语言、推理等多个领域都展现出接近甚至超越人类的能力水平

•LLM可能带来的社会风险与对人类的潜在威胁开始成为研究关注点

–大语言模型的风险与防护

•LLM生成的文本中可能包含偏见、歧视等有害内容，或生成带有误导性的虚假信息

•为应对风险，提出了基于监督微调SFT与使用人类反馈的强化学习RLHF等对齐技术

•对齐的主要目的是使LLM的输出符合人类用户的指令、偏好与价值观

•绕过甚至无效化LLM的安全机制，使得经过对齐的LLM输出有害内容成为研究方向

•研究意义

–探究新的攻击方法，及时发现新型威胁，并验证现有的防御机制效果

–以攻击促进防御，辅助设计更有效的防御机制，提高系统的鲁棒性

6

研究历史与现状

Li等人提出了名为DeepChao等人提出了名Wei等人评估了多种越狱攻Russinovich等人提出多

Inception的越狱攻击方法，为PAIR的攻击方法，击在绕过大语言模型安全轮攻击方法Crescendo，

创造多重场景以转移大模使用一个大模型作机制和诱发有害行为方面基于固定和人工制作的种

型注意力，在最后要求给为攻击模型迭代细的有效性并分析了影响越子实例逐渐将良