基于大语言模型的显式漏洞生成：超越对抗攻击的研究-计算机科学-大语言模型-代码生成-提示工程-人工智能安全.pdf

基于大语言模型的显式漏洞生成：超越对抗

攻击的研究

AhmetEmirBosnakSahandMoslemiMayasahLami

BilkentUniversityBilkentUniversityBilkentUniversity

TurkeyTurkeyTurkey

emir.bosnak@.trsahand.moslemi@.trm.lami@.tr

AnilKoyuncu

BilkentUniversity

Turkey

本anil.koyuncu@.tr

译

中摘要—大型语言模型（LLMs）越来越多地被用作代码助也可能通过幻觉逻辑或对安全性敏感操作的不正确假

2手，但当明确要求生成不安全的代码时它们的行为仍不清楚。虽设引入漏洞～[4]。Perry等人～[5]发现使用AI助手

v然先前的研究侧重于无意中的漏洞，本研究考察了一种更直接的的开发者经常产生含有更多安全缺陷的代码——尽管

4

5威胁：开源LLM在提示下生成脆弱代码。我们提出了一种双重他们对自己的安全性表达出更大的信心。

0实验设计：(1)动态提示，在结构化的模板中系统地改变漏洞类

0型、用户角色和提示措辞；以及(2)反向提示，从真实的脆弱代当前的大量研究集中在两个主要威胁面上：（1）在

1

.码样本中导出自然语言提示。我们使用静态分析评估了三个70通用提示过程中引入的意外漏洞～[6],[7]，以及（2）旨

7

0亿参数的开源模型（Qwen2,Mistral,Gemma），以评估生成在通过间接指令操纵大语言模型生成不安全代码的对

5漏洞的存在和正确性。我们的结果显示所有模型都经常生成请求抗性提示技术～[8],[9]。虽然最近的越狱和红队研究显

2的漏洞，尽管性能差异显著。Gemma在动态提示下的内存漏洞

:示可以通过直接请求迫使大型语言模型生成有害或脆

v正确率最高（例如缓冲区溢出为98.6%），而Qwen2则在所有

i弱的代码～[10]–[13]，但这些工作主要评估的是模型是

x任务中表现最均衡。我们发现专业角色（如“DevOps工程师”）

r比学生角色更一致地获得更高的成功率，并且直接和间接措辞的否遵从，而不是它们在这种请求下的行为。

a

效果取决于提示策略的不同而反转。漏洞复现准确性随着代码复这种直接交互模式，用户明确要求不安全的代码，

杂性的增加呈现非线性模式，在适度范围内达到峰值。我们的研可以说更具有代表性地反映了现实中的误用场景，特别

究结果揭示了LLMs依赖于模式回忆而非语义推理，这在其安

是涉及学生、初学者开发者或本地模型未受监督使用的

全对齐方面造成了显著的盲点，特别是对于被表述为可信的职业

情况。尽管这种方式在实际应用中很有意义，但这种交

任务的请求。

IndexTerms—大型语言模型，代码生成，安全漏洞，提互风格大多被忽视了。Tony等人[14]指出了缺乏针对

示工程，人工智能安全现实提示风格的系统性评估。Brokman等人[15]以及

Basic和Giaretta[16]报告称，大多数评估集中在间接

I.介绍对抗性提示或通用代码质量上，对直接、与安全相关的

LLMs正在成为软件开发工作流程中的重要工具，请求关注较少。Le