计算机行业DeepSeek-R1，强化学习与知识蒸馏，比肩O1.pdf

内容目录

1DeepSeek-R1发布，对标OpenAIo1正式版3

2大规模强化学习：激发大模型推理潜能4

2.1DeepSeek-R1-Zero:以强化学习完全取代监管微调4

2.2DeepSeek-R1:引入冷启动与多阶段训练5

3知识蒸馏技术：让小模型也能“聪明”推理7

4DeepSeek-R1高性价比API定价，极具商业化落地潜力9

5总结和启示：强化学习与知识蒸馏，DeepSeek引领LLM创新之路10

6投资建议11

7风险提示11

图表目录

图1.DeepSeek发布DeepSeek-R1模型3

图2.DeepSeek-R1与OpenAI同类产品的基准测试比较3

图3.随着RL训练推进，DeepSeek-R1-Zero的AIME2024基准测试成绩稳定且持续提升4

图4.DeepSeek-R1-Zero与OpenAI的o1模型的测试成绩比较5

图5.DeepSeek-R1-Zero中间版本的“顿悟现象”5

图6.DeepSeek-R1的基准测试成绩在多个维度超越V3以及OpenAI、Anthropic的主流模型7

图7.DeepSeek-R1蒸馏模型8

图8.QwQ-32B-Preview与经过强化学习和R1蒸馏Qwen-32B模型的基准测试成绩对比8

图9.DeepSeek-R1-Distill系列小模型的基准测试成绩9

图10.DeepSeek-R1与OpenAI同类产品的API价格比较10

图11DeepSeek-R1深度思考能力示例11

1DeepSeek-R1发布，对标OpenAIo1正式版

DeepSeek-R1正式发布。1月20日，DeepSeek正式发布了一系列DeepSeek-R1模

型，并上传R1系列的技术报告和各种信息。DeepSeek此次共发布三组模型：

★DeepSeek-R1-Zero:大规模使用强化学习(RL)技术，没有任何监督微调(SFT);

★DeepSeek-R1:在强化学习前融入冷启动数据，多阶段训练；

★DeepSeek-R1-Distill系列：DeepSeek-R1中蒸馏推理能力到小型密集模型，参

数规模分别为1.5B、7B、8B、14B、32B和70B。

图1.DeepSeek发布DeepSeek-R1模型

我是DeepSeek,很高兴见到你!

我可以帮你写代码、读文件，写作各种创意内容，请把你的任务交给我吧

给DeepSeek发送消息

调用新模型DepSeckR¹,决推河8深蜜思考田联网投素0

数据来源：DeepSeek官网，

DeepSeek-R1模型推理能力优异，比肩OpenAIo1正式版。DeepSeek-R1在AIME

2024上获得了79.8%的成绩，略高于OpenAI-o1-1217。在MATH-500上，它获得

了97.3%的惊人成绩，表现与OpenAI-o1-1217相当，并明显优于其他模型。在编

码相关的任务中