多数学家：一个具有动态分层工作流的自优化代理.pdfVIP

多数学家：一个具有动态分层工作流的自优化代理

121121

Chia-TungHo,JingGong,XufengYao,YunshengBai,AbhishekBAkkur,HaoxingRen

1NvidiaResearch,SantaClara,CA,USA

2Nvidia,SantaClara,CA,USA

chiatungh@,jingg@,xufengy@,yunshengb@,aakkur@,

haoxingr@

Abstract此，自动化代理工作流程以解决多样化和多样的任务已

经成为一个关键需求。

大型语言模型（LLMs）擅长通过执行由详细指令和结构

许多近期的研究工作专注于自动化代理工作流发

化操作组成的代理工作流程来解决复杂任务。然而，通

过文本界面手动将基础模型嵌入到诸如链式思维、自我现以减少人类的参与(Khattabetal.2024;Yuksekgonul

反思和ReACT等代理系统中以构建通用代理的方法限etal.2024;Liuetal.2023;Huetal.2024)，然而，完

本制了可扩展性和效率。最近，许多研究人员试图通过基全自动化的问题仍未解决。DSPy(Khattabetal.2024)

译于代码的表示来自动生成和优化这些工作流程。然而，现需要手动设置，而诸如TextGrad(Yuksekgonuletal.

有方法通常依赖于标记数据集来训练和优化工作流，这2024)和GPTSwarm(Zhugeetal.2024)这样的方法则

中使得它们在无法获得标记数据的真实世界动态问题解决难以捕捉到广泛任务泛化所需的工作流多样性(Yu,He,

1方面无效且缺乏灵活性。为了解决这一挑战，我们引入andYing2023;Yangetal.2024b;Sunetal.2023)，因

v了Polymath，这是一种具有动态层次化工作流的自优化

9为它们的优化目标无法代表潜在工作流的广度。虽然

5代理，它利用任务流程图的灵活性和代码表示的工作流ADAS(Huetal.2024)和AFlow(Zhangetal.2024a)

9的表现力来解决广泛的真实世界动态问题。所提出的优

2化方法整合了多网格启发式图优化与自我反思引导的进通过将工作流表示为代码并利用执行反馈进行改进来

0.化算法，以在没有标记数据的情况下改进工作流程。在增强表达能力，但它们严重依赖现有的验证数据，并旨

8编码、数学和多轮问答任务上的六个基准数据集上进行在跨任务类别进行泛化，这限制了它们对动态、现实世

0的实验结果显示，Polymath相较于最先进的基线模型平界问题和特定任务挑战的适应性。另一方面，数据解释

5

2均提升了8.1%。我们将在论文被接受后公开源代码。器(Hongetal.2024)提出了一个基于可编程节点流的

:

v任务图，但这种方法缺乏有效的自我学习和优化。这突

i介绍显了迫切需要更有效且适应性更强的技术来完全自动

x

r