DeepSeek自学快速入门-从理论模型训练到实践模型应用.pptx

DeepSeek自学手册

从理论(模型训练)到实践(模型应用)

03

DeepseekR1四大使用技巧

06

Deepseek替代方案(在线本地部署)

02

DeepseekR1后

提示词的变与不变

05

Deepseek

实际应用场景

01

Deepseekv3和R1是怎么训练出来的

04

13个Deepseek

官方提示词样例

注：当前手册的信息更新截至2025年2月10日

目录

Contents

Deepseekv3是什么?

DeepSeekV3是一个强大的MoE语言模型(非推理型模

型)。它在数学、代码等任务上吊打其它开源模型，甚至能和闭源大佬GPT-4o、Claude-3.5-sonnet掰手腕，但训练花的钱还不到600万美元。

注：MoE,全称是Mixture-of-Expe比s,翻译成中文就是“混合专家”。你可以把它想象成一个团队，这个团队里有很多专家，每个专家都有自己的专长。当遇到一个问题时，不是所有专家都一起上，而是根据问题的类型，选择最合适的几个专家来解决。这样不仅提高了效率，还提升了性能。

初识Deepseekv3

数据、图表源自：DeepSeek-V3TechnicalRepo比

无额外损耗的负载均衡

前面DeepSeekMoE中提到的多项创新，其中就包括V3才推出的无额外损耗的负载均衡。

简单来说，在训练过程中，DeepSeekMoE

会监控每个专家的“工作量”,进而动态调整专家使用频率，避免某些专家过劳或”躺平。

Multi-HeadLatentAttention(MLA)

V3基础架构之一，在DeepSeekV2已经验证

有效，

MLA翻译成中文就是多头潜在注意力，传统模型推理时需缓存大量数据，MLA通过压缩键值对(类似精简笔记)减少内存占用，可以让模型在处理长文本时更高效。

DeepseekMOE

V3基础架构之一，同样在DeepSeekV2已经

验证有效。

DeepSeekMoE在传统MoE的基础上进行了多项创新和优化，比如更精细的专家分

工、共享专家等，适配复杂任务，进而提升模型的性能和计算效率。

多Token预测(MTP)策略

V3架构创新之一。

传统模型一次预测1个词，DeepSeekV3同时预测多个词(类似预判下一步),捉升数据利用效率，还能加速生成

Deepseekv3架构

Deepseekv3训练步骤和数据使用

无标注数据集预训练大模型基础大模型通用精调模型

基于规则的奖励横型：对于可以通过明确规则进行判别的任务(例如数学题、编程题),采用基于规则的奖励模型

基于模型的奖励模型：对于难以通过规则进行判别的任务(例如开放式问答、创意写作),则采用基于模型的奖励模型

推理数据：对于数学、代码、逻辑推理等需要复杂推理过程的任务，V3采用了基于R1生成的高质量推理数据

非推理数据：对于创意写作、角色扮演、简单问答等非推理类任务，则用V2.5生成响应，并由人工标注和校验

训练数据：相比V2,V3提高了数学和编程样本的比例，同时扩展了除英语和中文之外的多语言覆盖范围

预训练

(无监督学习)

精调

(监督学习)

精调

(强化学习)

Menchmarka

·Shet

DeepSeek-V2Bse

|Qwen25728Bae

LLMA414258Base

DwepSnwkV3Bae

Ardieture

MoE

Dmse

Dmse

MoE

ActvatodParan

21B

728

4058

B

otalFPararn

2368

78

4358

6715

English

Pletesta

0606

068

0.542

0548

BBt

het

7

7

829

575

MMU

S-het

784

50

4

871

MMURedu

5ht

76

832

813

2

MMLU-os

5shet

51.4

583

528

644

DMP

3-hst

80.4

06

0

.0

ARC-Lay

25shot

54

4

5

ARCCwlleg

5so

922

5

953

953

HellSwg

10-ho

87.1

48

92

58

PKQAa

het

69

26

847

WincGrandepo

5-het

63

23

852

54.9

RACT-MSdle

S-hat

71

41

742

71

RACE办

5hat

56

503

8

513

TviQ