BAR 猜想：具有真实性和推理能力的预算约束大型语言模型服务的可能性.pdfVIP

BAR猜想：具有真实性和推理能力的预算约束大型语

言模型服务的可能性

JinanZhouRajatGhosh

NutanixNutanix

jinan.zhou@rajat.ghosh@

VaishnaviBhargavaDebojyotiDutta

NutanixNutanix

vaishnavi.bhargava@debojyoti.dutta@

AryanSinghal

Nutanix

本aryan.singhal@

译

中

Abstract

2

v

0在设计大语言模型服务时，从业者关心三个关键属性：推理时间预算、事实

7

1真实性以及推理能力。然而，我们的分析表明没有一个模型可以同时优化

3这三个方面。我们正式证明了这一权衡关系，并提出了一种名为“BAR定

2.理”的原则性框架用于大语言模型应用设计。

7

0

5

21介绍

:

v

i大型语言模型（LLMs）使用Transformer架构(Vaswanietal.,2017)，通过大量标记进行预

x

r训练以成为自动回归的下一个标记预测器，。一个LLM参数空间被以下

a

方式分割：。大语言模型在后期训练阶段使用基于

PETEATTNFFOUTPUT

RL的技术如RLHF(Ouyangetal.,2022)、GRPO(DeepSeek-AIetal.,2025)；偏好优化技术

如DPO(Rafailovetal.,2024)、KTO(Ethayarajhetal.,2024)；以及监督技术如LoRA(Hu

etal.,2021)来学习指令跟随。指令遵循，，意味着模型，，学习根据

指令提示，，来引导其生成轨迹。

大型语言模型（LLM）的两个关键基准属性是：第一，真实性或忠实性——其保持事实信

息根基的能力(Linetal.,2022;Yangetal.,2018)，避免幻觉(Lietal.,2023a;Joshietal.,

2017)和抵抗阿谀奉承(Sharmaetal.,2025)；第二，推理——其执行逻辑任务的能力，如

数学推理(Cobbeetal.,2021;etal.,2021;2025;2024a;c;b)、逻辑推理(Wangetal.,2024