2、基于函数调用的大模型越狱攻击-吴子辉.pdfVIP

关于我

Aboutme

吴子辉

西安电子科技大学/西安智能系统安全重点实验室博士研究生，导师为高海昌教授

研究方向:

1.LLMSafetyandAlignment

2.AutomatedLLMRedTeaming

Github:/wooozihui

基于函数调用的大模型越狱攻击

什么是LLM函数调用

函数调用是OpenAI在2023年6月发布的功能；是指大

语言模型通过调用函数工具从而与外部环境交互的能力；

这一功能解决的问题:

1.让大模型能够通过函数工具与外部环境交互，如获取

天气，搜索等；(agent=LLM+记忆+规划+函数调用)

2.大模型的缺陷，如容易产生幻觉，无法进行精准计算

等，因此需要依靠外部工具来解决这些问题。

什么是LLM函数调用

机制:

函数调用过程通常可以分为4个步骤:

Step1:用户提供外部函数的声明文件，并通过prompt

触发需要调用的函数。

什么是LLM函数调用

图中展示了一个简单的获取天气的函数调

用声明

函数的名称

函数的功能描述

定义参数的名称，数据类型，

以及参数描述

作用：向模型说明函数的功能以及需要

返回的参数需求，并非实际执行代码。

什么是LLM函数调用

Step2:LLM生成函数执行所需的参数

用户提交函数声明并通过

提示词触发大模型调用相

关函数

函数声明

生成参数

什么是LLM函数调用

Step3:将大模型产生的参数输入到实际函数中进行执行

生成的参数

实际执行的函数

什么是LLM函数调用

Step4:将函数的返回值输入到大模型中，由大模型产生

最终结果，流程结束

“晴天”Response:北京现在是晴

天

LLM函数调用存在的安全性问题

早先的研究中[]，研究者们发现函数调用

存在一些安全风险,主要包括:

1.任意参数注入:大模型会按照用户提供

或者希望的方式生成参数进行函数调用的执

行，这使得攻击者能够恶意注入参数，导致

如SQL注入之类的攻击。

[1]Pelrine,K.,AI,F.,Taufeeque,M.M.,Zając,M.,McLean,E.,Gleave,A.ExploitingNovelGPT-4APIs.

LLM函数调用存在的安全性问题

2.函数信息泄露:在攻击者要求模型提供函

数的具体信息时，模型不会拒绝。这可能导

致隐私泄露风险。

[1]Pelrine,K.,AI,F.,Taufeeque,M.M.,Zając,M.,McLean,E.,Gleave,A.ExploitingNovelGPT-4APIs.

越狱攻击尝试:

3.越狱攻击尝试:最后，研究者还尝试了利用函数调用对大模型

进行越狱攻击。希望通过调用一个“安全确认函数”来诱导模型

认为攻击者输入