思想之树：利用大型语言模型进行有意识问题解决.pdfVIP

思想之树：用大型语言模型有意识地解决问题

普林斯殿宇杰弗里·克·沙夫兰

顿大学DeepMind歌DeepMind谷歌DeepMind

3

2

0·L·格里菲斯谷歌KarthikNarasimhan

2普林斯顿大学DeepMind普林斯顿大学

c

e

D

3抽象的

]

L语言模型越来越多地被部署用于解决各种任务中的一般问题，但在推理过程中

C仍然仅限于令牌级、从左到右的决策过程。这意味着他们可能无法完成需要探

.

s索、战略前瞻性或初始决策发挥关键作用的任务。为了克服这些，我们引

c

[入了一种新的语言模型推理框架“思想树”（ToT），它概括了流行的“思想

链”方法来提示语言模型，并能够探索连贯的文本单元（“思想”），作为解

2

v决问题的中间步骤。ToT允许LM虑多种不同的推理路径和自我评估选

1择来执行深思熟虑的决策，以决定下一步的行动方案，并在必要时向前看或回

0

6溯以做出全局选择。我们的实验表明，ToT显着增强了语言模型在三个需要重

0要规划或搜索的新任务上解决问题的能力：24人游戏、创意写作和迷你填字游

1.戏。例如，在Gameof24中，虽然具有思维链提示的GPT‑4仅解决了4%的

5任务，但我们的方法取得了74%的成功率。包含所有提示的代码库：

0

3‑nlp/tree‑of‑thought‑llm。

2

:

v

i

X

r1简介

a

语言模型(LM)的扩展版本（例如GPT[25,26,1,23]和PaLM[5]）最初设计用于生成文

本，现已证明越来越有能力执行更广泛的需要数学、符号、和知识推理的任务。也许

令人惊讶的是，所有这些进步的基础仍然是生成文本的原始自回归机制，该机制以从左到

右的方式逐一做出标记级决策。这样一个简单的机制足以让LM成为一个通用的问题解决

器吗？如果不是，哪些问题会当前的范式，以及替代机制应该？

有关人类认知的文献为回答这些问题了一些线索。对“双重过程”模型的研究表明，人们

有两种参与决策的模式——快速、自动、无意识模式（“系统1”）和缓慢、深思熟虑、有意识

的模式（“系统2”）[30,31,16,15]。这两种模式之前已与机器学习中使用的各种数学模型相

关联。例如，对人类和其他动物强化学习的研究探索了他们进行联想“无模型”学习或更慎重

的“基于模型”规划的情况[7]。LM的简单关联级别选择也让人想起“系统1”，因此可

能会受益于通过更加