DeepSeek R1的思考和启发_邱锡鹏.pptxVIP

关于DeepSeekR1的思考和启发

复旦大学/上海创智学院

2025年2月12日;

human;

Pre-trainingasweknowitwillendComputeisgrowing:

Betterhardware

Betteralgorithms

Largerclusters

Dataisnotgrowing:

Wehavebutoneintemet

ThefossilfuelofAI;

强化学习大模型场景下的强化学习

Zenget.al,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspectve,htps//axiv.org/abs/2412.14135;

RewardDesign

ReinforcementLearning

Data

o1

Policy

PolicyInitialization1.PolicyInitialization:塑造推理行为;

Policy初始化的猜想：

预训练：通过大量富含逻辑的数学和代码文本，习得基础的逻辑推理和分析能力

提示工程监督微调：进一步注入类人的推理行为，具备探索复杂解空间的能力

Zenget.al,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspective,ttps:/axiv.org/abs/2412.14135;

专家数据

RewardModel

偏好数据;

GuidingSignalsSearchStrategies

01搜索的猜想：

在训练时，01使用树搜索+外部指导

在推理时，01使用连续改正+内部指导

Zenget.al,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspectve,htps//axiv.org/abs/2412.14135;

Solutionwiththehighestrewards

PolicyGradientVs.BehaviorCloning

高数据利用率显存消耗大高效稳定无法利用负样本

Learning的猜想：二阶段训练

Warmup阶段使用Behaviorcloning,快速收敛

第二阶段使用PolicyGradient,提升上限

Zenget.al,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspectve,htps//axiv.org/abs/2412.14135;

Question:Ifa1,thenthesumoftherealsolutionsofVa-Va+x=xisequalto;

R1的训练由四个阶段组成：

1.冷启动

以DeepSeek-V3为基础，构建并收集少量Long-CoT数据来微调模型，防止RL训练早期不稳定和可读性差问题。

2.推理导向的强化学习

以阶段1模型为基础，针对代??、数学和逻辑推理等推理密集型任务，采用与R1-Zero相同的大规模RL来进行训练。

引入语言一致性奖励(CoT中目标语言单词的比例)来缓解语言混杂问题

3.拒绝采样和监督微调

通过拒绝采样，使用阶段2模型合成高质量推理数据；

通用领域的SFT数据(V3SFT数据+V3COT合成数据);

以DeepSeek-V3为基础，微调模型以增强模型在写作、角色扮