DeepSeek R1的思考和启发.pdf

关于DeepSeekR1的思考和启发

OpenAIo1标志着大模型推理能力突破

o1在竞赛题目上到达了人类专家水平o1实现了AGI的第二阶段(Reasoner)

预训练时代可能即将结束，但ScalingLaw继续？

o1引入的新范式：

Scale强化学习和推理时计算

以强化学习为核心的推理模型

Agent=LLM

Action=NextToken/Step/Solution

State=LLMinputs

Policy:actionstate

强化学习大模型场景下的强化学习

Zenget.al.,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspective,/abs/2412.14135

以强化学习为核心的推理模型

1.PolicyInitialization:塑造推理行为

2.RewardDesign:为RL提供奖励信号

3.Search:找寻问题的最优解法

4.Learning:优化模型参数

Zenget.al.,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspective,/abs/2412.14135

Policy初始化(PolicyInit)

通过预训练、提示工程、监督微调让大模型模仿人类推理行为

Policy初始化的猜想:

➢预训练:通过大量富含逻辑的数学和代码文本，习得基础的逻辑推理和分析能力

➢提示工程监督微调：进一步注入类人的推理行为，具备探索复杂解空间的能力

Zenget.al.,ScalingofSearchandLearning:ARoadmaptoReproduceo1fromReinforcementLearningPerspective,/abs/2412.14135

奖励设计(RewardDesign)

从环境或者数据中学习奖励信号

Reward信号

RewardModel

从环境直接获取奖励信号

RewardShaping:从结果监督转