多目标语义演化提示优化.pdfVIP

多目标语义演化提示优化

SaraCâmara,EduardoLuz,ValériaCarvalho,IvanMeneghiniandGladstonMoreira

ComputingDepartment,UniversidadeFederaldeOuroPreto,OuroPreto,35402-136,MinasGerais,Brazil.

FederalInstituteofMinasGerais,Ibirité-MG,Brazil.

PostgraduatePrograminComputerScience,FederalUniversityofOuroPreto,Brazil.

gladston@.br

本ABSTRACT

译提示工程对于释放大型语言模型（LLMs）的潜力至关重要。然而，由于手动设计提示通常

中复杂、非直观且耗时，自动提示优化已成为一个研究领域。不过，在提示优化中面临的一个

重要挑战是管理任务性能（如准确性）与上下文大小之间的内在权衡。大多数现有的自动

1化方法专注于单一目标，通常是性能，从而未能探索效率和有效性的重要平衡。本文介绍了

v

1MOPrompt，这是一种新型的Multi-objectiveEvolutionaryOptimization(EMO)框架，旨在同

4时优化提示的准确性和上下文大小（以标记为单位测量）。我们的框架映射了提示解决方案

5的帕累托前沿，向实践者提供了一组关于上下文大小与性能之间权衡的关系——这在实际应

1

0用中部署LargeLanguageModels(LLMs)时是一项关键工具。我们在葡萄牙语的情感分析任

.

8务上评估了MOPrompt，使用Gemma-2B和Sabiazinho-3作为评估模型。我们的发现表明，

0MOPrompt显著优于基线框架。对于Sabiazinho模型，MOPrompt识别出一个提示，该提示

5

2实现了与最佳基线解决方案相同的峰值准确率（0.97），但标记长度减少了31%。

:

vKeywords多目标优化提示评估决策空间多样性感兴趣区域。

i

x

r

a1介绍

像GPT-4[1]和Gemini[2]这样的强大LLMs已经彻底改变了NaturalLanguageProcessing(NLP)领域。这些模

型的有效使用高度依赖于提示工程，即设计有效指令以引导模型输出[3]的过程。然而，手动制作最优提示

是一个重大瓶颈；通常被描述为需要大量试验和错误的“darkart”。

自动化提示优化是一个有前途的途径来解决这个问题[4]。在[5]中，作者提出了一种名为EvoPrompt的框架，

该框架结合了进化算法（EAs）与大型语言模型（LLMs），以优化提示，并且相对于人类设计的提示和现有

的自动提示生成方法有显著性能提升。然而，在[6]中，作者提出了一个迭代提示演化方法来优化社交媒体

上对有毒内容分类的模型表现。当前的自动化方法完全专注于最大化任务特定的性能指标[5]，忽视了上下文

大小这一因素，它以标记为单位测量——这是模型处理文本的基本单元。虽然更大的上下文窗口可以提升性

能，但也需要更多的计算资源并且可能导致更慢的处理时间。

为解决这一问题，本研究引入了MO提示，这是一个自动提示优化框架，通过优化提示来同时实现最