DeepSeek-V3技术报告（中文版）.pdf

DeepSeek-V3技术报告

DeepSeek-AI

research@

Abstract

DeepSeek-V3,B(MoE)

我们介绍了这是一个拥有671总参数的强大的专家混合语言模型，

每个令牌激活37B参数。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了多头

潜在注意力(MLA)和DeepSeekMoE架构，这些在DeepSeek-V2中得到了充分验证。此外，

DeepSeek-V3开创了一种无需辅助损失的负载均衡策略，并设定了多令牌预测训练目标以提升

性能。我们在14.8万亿个多样且高质量的令牌上预训练DeepSeek-V3,随后通过监督微调和强

化学习阶段充分发挥其能力。全面评估表明，DeepSeek-V3超越了其他开源模型，并实现了与

领先闭源模型相当的性能。尽管性能优异，DeepSeek-V3仅需2.788MH800GPU小时进行完整

训练。此外，其训练过程非常稳定。在整个训练过程中，我们没有遇到任何不可恢复的损失峰

值或进行任何回滚。模型检查点可在/deepseek-ai/DeepSeek-V3获

得。

DeepSeek-V3DeepSeek-V2.5Qwen2.5-72B-InstUama-3.1-405B-InstGPT4o-0513Claude-3.5-Sonnet-1022

100

90.2

8078.080.078.3

75.9

z4.7

73.874.6

n₈733726

66265.0

59.1

60

51.6

511950.8

49.0

42.0

4041.3