DeepSeek-R1：通过强化学习激励大型语言模型推理能力.pdf

DeepSeek-R1:通过强化学习激励大型语言模型推理能力

DeepSeek-AI

research@

Abstract

DeepSeek-R1-ZeroDeepSeek-R1DeepSeek-R1-Zero

我们介绍了我们的第一代推理模型，和。

是一个通过大规模强化学习(RL)训练的模型，在没有监督微调(SFT)作为预训练步骤的情

况下，展现出了卓越的推理能力。通过RL训练，DeepSeek-R1-Zero自然涌现出许多强大且有

趣的推理行为。然而，它也面临诸如可读性较差、语言混杂等挑战。为了解决这些问题并进一

步提升推理性能，我们引入了DeepSeek-R1,它在RL之前结合了多阶段训练和冷启动数据。

DeepSeek-R1在推理任务上的表现可与OpenAI-o1-1217相媲美。为了支持研究社区，我们开

DeepSeek-R1-ZeroDeepSeek-R1DeepSeek-R1B

源了、以及从蒸馏而来的六个密集模型(1.5、

7B8B14B32B70B),QwenLlama

、、、、这些模型基于和训练。

Figure1|DeepSeek-R1的基准性能。

Contents

1引言3

1.1贡献3

1.2评估结果总结4

2方法5

2.1概述5

2.2DeepSeek-R1-Zero:基础模型上的强化学习5

2.2.1强化学习算法5

2.2.2奖励建模5

2.2.3训练模板6

2.2.4DeepSeek-R1-Zero的性能、自我进化过程和顿悟时刻6

2.3DeepSeek-R1:带有冷启动的强化学习8

2.3.1冷启动9

2.3.2面向推理的强化学习9

2.3.3拒绝采样和监督微调10

2.3.4适用于所有场景的强化学习10

2.4蒸馏：赋予小型模型推理能力11

3实验11

3.1DeepSeek-R1评估12

3.2蒸馏模型评估13

4讨论14

4.1蒸馏与强化学习对比14

4.2失败尝试14

5结论、局限性及未来工作