将提示作为自适应 LLM 管道的一等公民.pdfVIP

将提示作为自适应LLM管道的一等公民

UğurShuChenAlexanderW.Deepti

ÇetintemelBrownUniversityLeeRaghavan

Providence,USA

BrownUniversityBrownUniversityBrownUniversity

shu_chen@

Providence,USAProvidence,USAProvidence,USA

ugur_cetintemel@alexander_w_lee@deeptir@

摘要同时，大语言模型管道正在演变为完全以数据为

中心的应用程序。这些管道涉及从知识库中检索、条

现代LLM管道越来越类似于数据驱动的系统：它们检

件回退、验证、自适应细化和多代理编排。几个流行

索外部上下文，组合中间输出，验证结果，并根据运

的框架（例如LangGraph[5]）使开发人员能够轻松构

本行时反馈进行调整。然而，指导这一过程的核心元素建任意执行图与大语言模型。语义数据处理系统[6,8,

译——提示——仍然是一个脆弱且不透明的字符串，与10,11]使用声明性方法进行检索和转换。然而，在这

周围的数据流脱节。这种脱节限制了复用、优化和运

中些系统中，提示逻辑缺乏结构。它嵌入在模板内，分

行时控制。

1布在链路中，并且对优化或执行引擎不可见。

v在本文中，我们描述了我们对SPEAR的愿景和

2本文提出了一种抽象的转变：将提示视为结构化

1初步设计，这是一种语言和运行时环境，通过使提示

0结构化、自适应并成为执行模型的一等组件来填补这数据。特别是，我们介绍了我们的愿景和一种名为SPEAR

5（结构化提示执行和自适应细化）的语言和系统的早

0一提示管理空白。SPEAR使得（1）运行时提示优化—

.期设计，它做出了两个核心贡献：

8能够根据执行时间信号（如置信度、延迟或缺失上下

0•运行时提示优化：在SPEAR中的提示不是静态输

5文）动态修改提示；以及（2）结构化提示管理—将提

2示片段组织成支持内省和日志记录的版本视图。入；它们可以在运行时根据上下文或执行时间信

:

vSPEAR定义了一种提示代数，用于管理管道中提号（如置信度、延迟或覆盖率）进行调整。这是通

i

x示的构建和适应方式。它支持多种细化模式（手动、辅过一个小操作符代数来实现的，该代数用于建模

r

a助和自动），为开发者在控制和自动化之间提供平衡。提示如何在运行时响应数据和元数据而演变。此

通过将提示逻辑视为结构化数据，SPEAR使操作符融外，SPEAR支持多种提示优化模式（手动、辅助和

合、前缀缓存和视图复用等优化成为可能。初步实验