大语言模型越狱攻击 模型、根因及其攻防演化.docx

中国科学:信息科学在审文章onlinelatex

SCIENTIASINICAInformationis

评述

评述

大语言模型越狱攻击:模型、根因及其攻防演化

李希陶1,吴江1,郑庆华1,王海军1*,范铭1,胡帅1,2,郭家琪3,刘烃1

1.西安交通大学,智能网络与网络安全教育部重点实验室,西安710049

2.联通西部创新研究院,西安710021

3.微软（亚洲）互联网工程院,北京100080

*通信作者.E-mail:haijunwang@

国家自然科学基金(批准号:、陕西省高层次科技人才(QCYRCXM-2022-345)资助项目

摘要大语言模型在各种应用中表现突出,被广泛应用,成为打造新质生产力的重要引擎.然而,当恶意使用者利用特定技巧绕过模型的对齐等安全保护机制时,就可能导致越狱攻击,生成违反模型使用准则、道德或法律的内容,引发伦理问题.本文分析总结了越狱攻击的起源及其攻防演变过程,首先根据方法、对象、目标三要素提出了越狱攻击的定义和形式化模型;从大语言模型的发展历程和对安全性认知的变化两个角度,分析了越狱攻击的发展历史,将越狱攻击存在的根因总结为大语言模型的服务属性与价值观的不匹配;最后,从攻防博弈的角度总结越狱攻防的演化过程,探讨了越狱攻击的新型威胁模式和防御方法发展方向.

关键词越狱攻击,大语言模型,自然语言处理,网络安全,人工智能伦理

1引言

随着模型参数和训练数据集规模的增加,预训练语言模型（Pre-trainedLanguageModel,PLM）逐渐过渡为大语言模型（LargeLanguageModel,LLM）.LLM的兴起[1~3]为自然语言处理（NaturalLanguageProcess,NLP）领域带来了翻天覆地的变化.这些模型在语言理解[4]、代码生成[5]、聊天对话[6]、故事创作[7]、问答[8]等下游任务中取得了令人惊艳的成就,革新了应用开发范式[9,10].大语言模型的广泛应用极大地提升了生产效率,成为推动新质生产力的重要引擎,但同时大语言模型可能面临一系列安全性问题,包括越狱攻击[11~13]、后门攻击[14]、提示注入攻击[15]、隐私泄露[16]等.其中越狱攻击严重威胁人工智能伦理,是LLM面临的最重要的安全威胁之一.

LLM通过对齐[17~19]等策略从人类偏好数据中学习人类价值观,形成了内部的安全防护,从而使大模型有能力拒绝回复有害问题.越狱攻击通过打破大模型的安全防护,输出违反模型使用准则、道德或法律的内容,反映出人工智能的伦理缺陷,是大语言模型发展面临的重大挑战.越狱攻击具有复现容易、攻击形式灵活、社会后果严重等特点.Reddit网站上最早上曝光了一种名为DAN[20](Do

引用格式:李希陶,吴江,郑庆华,等.大语言模型越狱攻击.中国科学:信息科学,在审文章

XitaoLI,JiangWU,QinghuaZHENG,etal.Jailbreakinglargelanguagemodels.SciSinInform,forreview

/doi/10.1360/SSI-2024-0196

/doi/10.1360/SSI-2024-0196

李希陶等中国科学:信息科学在审文章2

AnythingNow)的越狱攻击,DAN提供了一个易于传播利用的越狱攻击模板,只需替换其中的问题就能轻松完成越狱,这反映了越狱攻击易于复现的特点;越狱攻击可针对模型的输入、模型本身、模型的部署环境多个阶段开展,攻击形式灵活;另外,模型内部存在有害知识,这些知识可以被用于作恶造成严重的社会后果,例如微软披露的人工智能安全威胁报告指出,新兴的人工智能工具正成为黑客进行网络活动的有力助手[21],EmeraldSleet组织针对特定的专家,利用LLM进行精准的鱼叉式网络钓鱼攻击.

越狱攻击并非LLM独有,但LLM带来新的越狱挑战.传统的越狱攻击针对移动应用,例如ios越狱,目标是突破系统引入的约束以获得更高的权限,人工智能模型有别于传统的应用