DeepSeek-R1的全面分析2025年.pdf

DeepSeek-R1是DeepSeek团队推出的第一代推理模型，通过强化学习（RL）和蒸馏技术显著提升

导语

了语言模型的推理能力。DeepSeek-R1-Zero模型在没有监督微调（SFT）的情况下，通过大规模强化

学习训练展现出强大的推理能力，但存在可读性和语言混合问题。为了解决这些问题，DeepSeek-R1引入了

冷启动数据和多阶段训练，推理性能与OpenAI的GPTo1-1217相当。此外，团队还科全书，欢迎对复杂性科

学感兴趣、热爱知识整理和分享的朋友加入，文末可以扫码报名加入百科志愿者！

关键词：大模型语言，强化学习，蒸馏模型，组相对策略优化，规则化奖励

目录

1.背景

1.1DeepSeek系列模型

2.技术特点

2.1DeepSeek-R1-Zero与强化学习

2.2DeepSeek-R1-Zero的顿悟时刻

2.3冷启动数据与多阶段训练

2.3.1冷启动数据

2.3.2多阶段训练

2.4蒸馏技术

2.5性能表现

2.5.1教育领域任务

2.5.2长上下文任务

2.5.3事实性问答

2.5.4指令执行与规范化输出

2.5.5写作和开放问答任务

2.5.6数学和编程任务

2.5.7蒸馏模型的性能评价

2.6开源贡献

2.7应用场景

2.8未来展望

3.DeepSeek-R1发布带来的社会影响

3.1社会影响

3.2相关事件

1.背景

该模型的开发背景源于传统语言模型在复杂推理任务中的局限性，尤其是在需要多步逻辑推

理的场景中。尽管现有的语言模型在生成文本和理解语言方面表现出色，但在数学推理、代

码生成等需要精确逻辑推理的任务中，表现仍然有限。

为了解决这一问题，DeepSeek团队提出了基于强化学习的训练方法，开发了DeepSeek-

R1系列模型。该模型的核心目标是通过强化学习和大规模训练，提升模型在复杂推理任务中

的表现。DeepSeek-R1-Zero是这一系列中的第一个模型，它通过纯强化学习训练，无需监

督微调（SFT），展现出强大的推理能力。然而，DeepSeek-R1-Zero在训练过程中也暴露

出一些问题，如可读性差、语言混合等。

为了进一步优化模型，DeepSeek团队引入了冷启动数据和多阶段训练方法，开发了

DeepSeek-R1。冷启动数据的使用使得模型在训练初期能够更快地收敛，并且通过多阶段训

练，模型的推理能力和可读性得到了显著提升。此外，团队还探索了蒸馏技术，将大型模型

的推理能力传递到小型模型，使得小型模型在推理任务中也能表现出色。

总的来说，DeepSeek-R1的开发背景是为了解决传统语言模型在复杂推理任务中的不足，

通过强化学习和蒸馏技术，提升模型在数学推理、代码生成等任务中的表现，并为研究社区

提供开源的推理模型资源。

1.1DeepSeek系列模型

2023年7月，国内大型私募基金幻方量化成立了子公司深度求索，他们储备了过万张A100和

H800计算显卡，开启了半年迭代一版大模型的探索历程：

2024年1月，深度求索发布了第一代模型，DeepSeekMoE系列，最大的版本有67B

参数，确立了混合专家模型(MoE)架构路线，能大幅减少训练和生成期间的成本。另

外，DeepSeekMoE发现了细粒度多数量Expert模块以及设立独立的共享Expert模块

能获得更加稳定且更好的效果。

2024年5月，深度求索发布了第二代模型，DeepSeek-v2，最大的版本有273B参

数。其中最重要的创新是多头潜在注意力机制(Multi-headLatentAttention，

MLA)。MLA能大幅降低模型在生成（推理）阶段的显卡缓存占用，据报告可降到原先

的5%-13%，因而可以大大提高其在生成阶段的效率。这一创新，配合其他创新使得

DeepSeek-v2的生成文字的成本降到只有每百万token一块钱。

2024年12月，深度求索发布了第三代模型，DeepSeek-v3，最大的版本有671B参

数。v3采用了多token预测训练（