认知循环通过原位优化：科学的自适应推理.pdfVIP

认知循环通过原位优化：科学的自适应推理

∗∗

NewmanCheng,GordonBroadbent,WilliamChappell

MicrosoftDiscoveryandQuantum,OfficeoftheChiefTechnologyOfficer

摘要

人工智能（AI）在动态条件下形成、演化和测试修改后的思维模式的能力表明了其高级认知能力，这对

于科学研究至关重要。现有的AI开发格局分为两类：1)非推理模型的框架，这些模型原生地纳入了关

于人类如何思考的观点；2)推理模型，它们抽象出对推理直觉的精确控制远离最终用户。虽然强大，但

为了使科学家最大限度地利用AI在科学研究中的作用，他们不仅需要准确性和透明度来实现推理，还

本需要可操控性。因此，我们介绍了一种替代方法，该方法能够深度和精确地控制推理过程，称为：通过

译原位优化的认知循环（CLIO）。CLIO使得大型语言模型（LLMs）能够自我制定解决问题的方法，在自

信心低时调整行为，并最终为科学家提供最终的信念或答案。通过CLIO的开放式设计，科学家可以观

中察不确定性水平，了解如何使用图结构形成最终信念状态，并插入纠正意见。无需任何进一步的后训练，

OpenAI的GPT-4.1与CLIO在人类最后一考（HLE）中的基于文本的生物医学问题上达到了22.37%

1

v的准确率。这比基础的GPT-4.1模型有了13.82%或161.64%相对增加，并超过了OpenAI的o3在高和

9低推理努力模式下的表现。我们进一步发现，内部不确定性度量中的波动是决定CLIO结果准确性的重

8要因素，揭示了其开放式设计和内部机制如何为科学决策过程提供洞察力和控制。

7

2

0

.

8

01介绍

5

2长时间运行的LLM代理能够对新材料或药物等高价值任务进行推理、规划和执行，这有望改变

:

v

i科学发现的方式。目前，生成长篇推理的方法基于模型部署前的后训练周期。相应的模型拥有由模

x

r型提供者决定而无直接来自最终用户输入的推理策略和本能属性，使它们只能依靠上下文窗口来引

a

导行为。在这篇论文中，我们展示了一种替代方法，这种方法可以使最终用户实时或事后引导并纠

正思维模式，在与后训练模型相比时达到相同或更高的智能水平。我们的方法CLIO旨在作为递归

反思以增加非推理模型解决问题和选择最佳方案的能力的强化学习后训练步骤的一种替代或补充。

随着新模型的HLE分数增加，趋势表明它将像其他基准一样达到饱和状态，此时准确性不再是唯

一的成功标准。如今，真正的挑战是积极纳入最终用户，绕过被动用户观察。为应对这一挑战，我

们测试了CLIO在没有工具的情况下回答来自HLE的生物学和医学问题的能力。仅使用模型的方

法可以对强化学习模型之间的效果进行直接测试，这与非推理模型的现场优化相比。CLIO不仅仅

提高了性能；它在整个思维过程创建过程中也带领最终用户一同参与，增加了性能和行为内部解释

性。诸如不确定性波动或新头脑风暴视角数量等指标有助于理解何时可以信任模型做出的结果和决

策。随着我们进入这一新的发现时代，在这个时代中答案将与人类主题专家一样好甚至更好，挑战

已经转变为在人机协同之间创造平衡。了解何时需要专家干预而不造成过度饱和，并确保关键决策

可引导是至关重要的。最终，CLIO将这些原则置于首位。

∗EqualContribution

Correspondence:{newmancheng,b-gbroadbent,willchap}@