关于DeepSeek的几点思考.pdf

关于这几天很火的DeepSeek，我们（ArchermanCapital）做了一些研究和思考，和大家分享，

enjoy！灰色部分是技术细节，不感兴趣的可略过。

几个事实

1）DeepSeek不是套壳不是蒸馏美国的大模型。虽然中国有些大模型是套壳和蒸馏的，但DeepSeek

不是。

2）核心架构还是基于Transformer，deepseek在架构、工程设计上进行了创新和工艺提升，实现效

率优化。架构上，采用了混合专家模型(MoE)、多头潜注意力(MLA)、多令牌预测（MTP）、长链式

推理（CoT）、DualPipe算法等设计，并进行了依赖强化学习（RL）而不加入监督微调（SFT）的训

练尝试。工程上，在数据精度（FP8混合精度）、底层通信等方面进行了优化。这些方法在学术界都

已经有了，Deepseek没有过于追求新技术，而是花了心思把这些方法都用上，解决了一些技术的应

用难点，在理论应用和工程上找到平衡，具体如下：

•MoE：MixtureofExperts。将模型划分多个专家模块来进行分工。训练中将不同专家模块分配

到不同计算设备训练，提升训练效率。推理时，仅动态激活部分专家（37B参数），而非全模

型参数（671B参数），减少计算负担。但是MoE经常会面临某些专家承担所有工作，其他专

家不被使用的问题，业内会通过一如辅助损失来对此调控、平衡各个专家模块的工作量，而

deepseek通过无辅助损失的自然负载均衡（引入一个无形的手而不是人为调控）、共享专家

机制来解决该问题。

•MLA：Multi-HeadLatentAttention。扩展了传统的多头注意力机制，引入潜向量（latent

variables），可以动态调整注意力机制，捕捉任务中不同的隐含语义。在训练中减少内存和计

算开销，在推理中降低KV缓存占用空间。

•MTP：Multi-TokenPrediction。一般LLM一次生成1个token，采用单步预测。deepseek在

特定场景下能同时预测多个token，来提高信号密度。一方面能够减少上下文漂移、逻辑更连

贯，也能减少一些重复中间步骤，在数学、代码和文本摘要场景能提升效率。

•Cot：Chainofthought。一种训练和推理方法，将复杂的问题拆分成小步的中间逻辑，细分逻

辑链条。在训练阶段，Deepseek用标注的LongCoT数据微调模型，让模型生成更清晰的推

理步骤，在强化学习中用CoT设计奖励优化，增强长链推理能力，并且在此过程中观察到了

模型的反思（回溯推理路径）、多路径推理（能给出多个解）、aha时刻（通过策略突破瓶颈）

等自发行为。

•DualPipe：传统训练信息流水线会产生一些等待时间、有“流水线气泡”，deepseek设计了一

个双重流水线，让一个计算阶段在等待数据传输时可以切换到另一批数据，充分利用空闲时

间。

•R1-Zero：Deepseek在V3基础模型上，仅通过强化学习（RreinforcementLearning）训练，

而不加入SFT（Supervisedfinetuning）数据，训练了R1-Zero模型，探索了模型不依赖人类

标注数据微调、自主推演的能力，打开了新的思路。但R1模型仍然采取SFT数据优化推理和

生成质量。

•FP8混合精度训练：引入了FP8混合精度训练框架，相比传统的FP16精度，数据内存占用更

少，但在一些算子模块、权重中仍然保留了FP16、FP32的精度，节省计算资源。

•底层通信优化：开发了高效的通信内核，优化对带宽的利用，保证数据传输效率，并能支持

大规模部署。

拿内燃机和汽车的发明打个比方，德国人发明了内燃机和汽车，美国人喜欢ScalingLaw，排量越大

马力越大，于是从2升到4升，甚至8升排量的车在美国都很常见，所以美国肌肉车很耗油。虽然

源头技术不是日本发明的，但日本人擅长把一件事做精，工程上做很多优化，日本2.5升排量的车甚

至可以做到和美国5升排量车一样的百公里加速指标。比如轻量化设计把大钢板换成钢条（类似通

过稀疏的办法减少大模型的参数量）；涡轮增压利用废气能量增加空气供给，提高燃烧效率；精密制

造，使得发动机零部件的配合更加紧密，从而减少能量