科学网—DeepSeek-R1的100问 - 王雄的博文.pdf

DeepSeek-R1的100问

1.摘要与引⾔（20问）问题1：DeepSeek-R1-Zero如何通

过纯强化学习（RL）实现推理能⼒的突破？

专业回答：DeepSeek-R1-Zero的核⼼创新在于直接从基础模

型（DeepSeek-V3-Base）出发，完全依赖⼤规模强化学习

（RL）提升推理能⼒，跳过了传统的监督微调（SFT）步

骤。其采⽤GRPO（GroupRelativePolicyOptimization）算

法，通过组内归⼀化奖励信号优化策略。具体来说，GRPO通

过采样⼀组输出（组⼤⼩G=16），计算组内奖励的均值和标

准差，⽣成优势函数（advantage），从⽽避免传统PPO中需

要额外训练价值模型的⾼成本。这种纯RL训练促使模型⾃主

探索⻓思维链（CoT）、⾃我验证和反思等复杂推理⾏为，最

终在数学（AIME2024Pass@1从15.6%提升⾄71.0%）和代

码任务中取得显著提升。

科普解释：想象你教⼀个机器⼈解数学题，传统⽅法是先给

它看很多例题（监督学习），再让它⾃⼰练习（强化学

习）。⽽DeepSeek-R1-Zero直接让机器⼈通过“试错”学

习，不需要例题。它⽤⼀种聪明的算法（GRPO）来评估每次

尝试的得分，⾃动调整策略，最终学会复杂的解题步骤，⽐

如检查⾃⼰的答案是否正确，或者换⼀种思路重新尝试。

问题2：为何在DeepSeek-R1中引⼊冷启动数据（cold-

startdata）？其核⼼优势是什么？

专业回答：冷启动数据⽤于解决DeepSeek-R1-Zero的可读性

和语⾔混合问题。具体来说，冷启动数据包含数千条⾼质量

的⻓思维链（CoT）示例，通过⼈⼯标注和格式过滤（如使⽤

reasoning和summary标签），强制模型⽣成结构清

晰、语⾔⼀致的内容。其核⼼优势在于：

1.

稳定性：为RL训练提供⾼质量的初始策略，避免早期探索

阶段的输出混乱。

2.

可读性：通过模板化输出（如总结模块）提升⽣成内容的

⽤户友好性。

3.

加速收敛：减少RL训练所需的步数，实验表明冷启动后

AIMEPass@1进⼀步提升⾄79.8%（接近OpenAI-o1-1217的

79.2%）。

科普解释：冷启动数据就像给模型⼀本“参考答案格式⼿

册”。虽然纯RL能让模型学会解题，但它的答案可能写得乱七

⼋糟。通过先教模型如何规范地写步骤和总结，再让它⾃由

发挥，最终答案既正确⼜容易看懂。

问题3：论⽂提到“语⾔混合”（languagemixing）问题，

具体表现和解决思路是什么？

专业回答：表现：模型在处理多语⾔提示时，可能在同⼀思

维链中混合使⽤中英⽂（如中⽂问题⽤英⽂推理）。解决思

路：

1.

语⾔⼀致性奖励：在RL阶段增加奖励项，计算⽬标语⾔词

汇占⽐（如中⽂任务中中⽂词⽐例需超过阈值）。

2.

数据过滤：冷启动阶段⼈⼯筛选单语⾔示例，强化模型的

语⾔对⻬能⼒。

3.

模板约束：强制要求推理和答案部分使⽤统⼀语⾔标签

（如thinkzh和answerzh）。

科普解释：就像⼀个⼈学双语时可能混⽤单词，模型也可能

在解题时中英⽂混杂。解决⽅法类似“语⾔考试”：如果题⽬

是中⽂，就要求全程⽤中⽂写答案，否则扣分。模型为了得

⾼分，⾃然会遵守规则。

问题4：蒸馏技术的核⼼⽬标是什么？为何⼩模型通过蒸馏能

超越直接RL训练？

专业回答：⽬标：将⼤模型（如DeepSeek-R1）的推理能⼒

迁移到⼩模型（如7B参数），使其在有限计算资源下接近⼤

模型性能。原因：

1.

数据效率：蒸馏直接复⽤⼤模型⽣成的800k⾼质量推理数

据，⽽直接RL需从头探索，计算成本⾼。

2.

知识继承：⼩模型通过模仿⼤模型的输出模式（如CoT结

构），跳过RL的试错阶段。

3.

实验验证：蒸馏后的Qwen-7B在AIME2024达到55.5%，

远超直接RL训练的Qwen-32B（47.0%）。

科普解释：蒸馏就像“学霸笔记”。⼩模型不⽤⾃⼰从头学解

题，⽽是直接背学霸（⼤模型）的解题步骤和技巧，这样既

省时间⼜考得更好。

问题5：与OpenAI的o1系列模型相⽐，DeepSeek-R1的核

⼼竞争⼒体现在哪些⽅⾯？

专业回答：

1.

训练效