大型语言模型系统中提示缺陷的分类法.pdfVIP

大型语言模型系统中提示缺陷的分类法

HAOYETIAN,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,Singapore

CHONGWANG,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,

Singapore

BOYANGYANG,JisuanInstituteofTechnology,BeijingJudaoYoudaNetworkTechnologyCo.Ltd.,

China

LYUYEZHANG,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,

Singapore

本YANGLIU,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,Singapore

译大型语言模型（LLMs）已成为现代软件的关键组件，提示语句实际上充当了它们的编程接口。然而，

中提示设计仍然主要依赖经验，并且小错误可能会导致不可靠、不安全或低效的行为。本文首次系统地

调查并归类了提示缺陷，揭示了提示无法激发其预期行为的反复出现的方式。我们从六个维度组织这

1些缺陷：（1）规格与意图，（2）输入与内容，（3）结构与格式，（4）上下文与记忆，（5）性能与效率，

v

4以及（6）可维护性与工程。每个维度被细分为具体的子类型，并通过具体实例和根本原因分析进行

0说明。基于软件工程原则，我们展示了这些缺陷如何在实际开发工作流程中出现并检查它们的下游影

4响。对于每种子类型，我们都提炼了缓解策略，涵盖了新兴的提示工程模式、自动化防护措施、测试

4

1框架和评估框架。然后，我们将这些策略总结在一个主分类法中，该分类法链接了缺陷、影响和补救

.

9措施。最后，我们总结了开放的研究挑战，并呼吁制定严格的面向提示工程的方法论，以确保由LLM

0驱动的系统是设计可靠性的。

5

2

:1介绍

v

i

x大型语言模型（LLMs）已成为现代软件应用程序的重要组成部分，作为从自然语言查

r

a询回答到代码生成和修复等各种任务的强大组件[1,9,44,45]。在这些基于LLM的系统

中，提示（一种以自然语言输入的形式指导模型的行为）实际上充当了决定模型行为的

源代码[6,40]。这种范式有时被称为由提示驱动的软件或promptware[6]，它允许开发

人员使用普通语言指令而不是传统的编程来执行复杂任务。然而，与传统代码不同的

是，提示是以一种模糊、非结构化且依赖于上下文（自然语言）的形式编写的，并在一

个非确定性和概率性的引擎（LLM）上执行[38,48]。这些基本差异给确保提示开发的

Authors’ContactInformation:HaoyeTian,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,

Singapore,tianhaoyemail@;ChongWang,SchoolofComputerScienceandEngineering,NanyangTechnological

University,Singapore,XXX;BoYangYang,JisuanInstituteofTechnology,BeijingJudaoYoudaNetworkTechnologyCo.Ltd.,China,

yby@;LyuyeZhang,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,Singapore,XXX;

YangLiu,SchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,Singapore,yangliu@.sg.

2025.ACMXXXX-XXXX/2025/9-ART

/10.