思考链仍然快速思考：APriCoT 有助于进行深思熟虑.pdfVIP

思考链仍然快速思考：APriCoT有助于进行深思熟虑

KyleMoore†JesseRoberts†

VanderbiltUniversityTennesseeTechnologicalUniversity

kyle.a.moore@VanderbiltUniversity

jtroberts@

ThaoPhamDouglasFisher

BereaCollegeVanderbiltUniversity

Abstract答案分布相同，并且准确性优于CF或CoT，表明APri-

CoT有助于模型更缓慢地地思考。

本语言模型已知会从训练数据中吸收偏见，导致预测由统计在本文中我们做出了3项主要贡献：1)我们扩展了

译规律而非语义相关性驱动。我们调查了这些偏见对大规模CF提示，以适应CoT推理，从而能够更全面地分析BRP

多任务语言理解（MMLU）任务中的答案选择偏好影响。效应。2)我们证明了当采用CF提示策略时，CoT推理

中我们的研究结果显示，这些偏见可以预测模型的偏好，并会加剧BRP对显性行为的影响，挑战了广泛接受的CoT

3且即使在使用链式思考(CoT)推理时也反映了人类答题效用。3)我们引入了一种名为APriCoT的CoT提示扩

v策略。为了解决这个问题，我们引入了带有不知情引导的展，该方法能够减少BRP效应并提高准确性。我们认为

1反事实提示(APriCoT)。我们证明单独使用带CoT的反APriCoT可能作为一种有效的策略来评估模型行为和执

5事实提示不足以缓解偏见，而APriCoT有效减少了基础

行复杂的推理任务。

6率概率的影响并提高了整体准确性。我们的结果表明，减

8轻偏见需要一个慢思考过程，仅靠CoT可能无法提供这

0.一过程，因为它在某些提示方法下往往会强化快速思考模先前工作

8型偏见。APriCoT是开发更强大和公平的语言模型的一在本节中，我们简要回顾了现有的文献，这些文献

0步，这些模型能够思考缓慢。围绕基础率概率（BRP）效应的缓解以及连同其他启发

4

2关键词：大型语言模型；基础率；模型偏差；链式思维推法和偏见一起使用CoT的情况。BRP效应将在专门的

:理；MMLU；定量行为分析部分详细定义和描述，但可以简单理解为执行无关任务

v时单词偏好对显性行为的影响。Mooreetal.(2024)、S.-

i

xL.Weietal.(2024)和Zhengetal.(2023)在非CoT背

r介绍景下对BRP效应及其缓解方法进行了深入评估。两篇研

a

模型涉及人类认知推理的两种不同思维方式，该模究都发现，在MCQA任务的背景下，大语言模型容易受

型在Kahneman的开创性著作快速与慢速思考(Kahne-到BRP效应的影响。Mooreetal.(2024)提出了一种重

man,2011)中提出。快速思考或启发式思考由系统