DeepSeek自学手册-从理论模型训练到实践模型应用.pdf

DeepSeek自学手册

从理论（模型训练）到实践（模型应用）

作者：@ai呀蔡蔡（全平台同名）

目录

Contents

010203

DeepSeekV3和R1DeepSeekR1后DeepSeekR1

是怎么训练出来的提示词的变与不变四大使用技巧

040506

13个DeepSeekDeepSeekDeepSeek替代方案

官方提示词样例实际应用场景（在线本地部署）

注：当前手册的信息更新截至2025年2月10日

DeepSeekV3和R1

01是怎么训练出来的

初识DeepSeekV3

DeepSeekV3是什么？

DeepSeekV3是一个强大的MoE语言模型（非推理型模

型）。它在数学、代码等任务上吊打其它开源模型，甚至能和

闭源大佬GPT-4o、Claude-3.5-sonnet掰手腕，但训练花的

钱还不到600万美元。

注：MoE，全称是Mixture-of-Expes，翻译成中文就是“混

合专家”。你可以把它想象成一个团队，这个团队里有很多专

i家，每个专家都有自己的专长。当遇到一个问题时，不是所有

专家都一起上，而是根据问题的类型，选择最合适的几个专家

a来解决。这样不仅提高了效率，还提升了性能。

数据、图表源自：DeepSeek-V3TechnicalRepo

DeepSeekV3架构

Multi-HeadLatentAttention(MLA)DeepSeekMoE

V3基础架构之一，在DeepSeekV2已经验证V3基础架构之一，同样在DeepSeekV2已经

有效。验证有效。

MLA翻译成中文就是多头潜在注意力，传统DeepSeekMoE在传统MoE的基础上进行

模型推理时需缓存大量数据，MLA通过压缩了多项创新和优化，比如更精细的专家分

键值对（类似“精简笔记”）减少内存占用，工、共享专家等，适配复杂任务，进而提升