OpenAI o1技术分析研讨信息安全资料 conv.docxVIP

OpenAIo1技术分析研讨

陈博远北京大学2022级“通班”

主要研究方向：大语言模型对齐与可扩展监督

https://cby-pku.github.io//

??????

Outline

zIntroduction:OpenAIo1开启「后训练」时代RL新范式zOpenAIo1表现分析

zPost-TrainingScalingLaw

z技术细节分析?Self-playRL?RewardModel

?ProcessRewardModel\GenerativeRewardModel\CriticModelSelf-Critiquing

?CoTMCTSApplication?STaRQuietSTaR?OpenAIo1技术路线推演

z潜在前景方向

?大模型的天花板在哪里\合成数据SynthesizedData\推理搜索Test-timeSearch?ChainofReasoningforAISafety

z未来技术方向分析

2

OpenAIo1开启「后训练」时代RL新范式

zRL的无限潜力?AlphaGo:RL+围棋

?Gemini的训练：TreeSearch+RL增强模型推理能力?OpenAIo1的训练：Q*\TreeSearch

zOpenAIo1运用的技术关键还是在于RL的搜索与学习机制

?基于LLM已有的推理能力，迭代式的Bootstrap模型产生合理推理过程（Rationales)的能力;

?并将Rationales融入到训练过程内，让模型学会进行推理;

?而后再运用足够强大的计算量实现Post-Training阶段的Scaling。类似于STaR[1]的扩展版本

z后训练扩展律Post-TrainingScalingLaws已经出现!

z模型学习的是产生合理推理的过程，Search在其中的作用是诱导合理推理过程的产生或构建相应的偏序对形成细粒度奖励信号。

z模型的Bootstrap有助于构建新的高质量数据，并且新的Rationales数据促进了模型进一步提升能力。

[1]STaR:BootstrappingReasoningWithReasoning/abs/2203.144653

OpenAIo1表现分析z在数学代码等复杂推理能力上取得巨大进步z在竞争性编程问题（Codeforces）中排名第89个百分位

z在美国数学奥林匹克竞赛（AIME）资格赛中跻身美国前500名学生之列z在物理、生物和化学问题的基准（GPQA）上超过了人类博士水平的准确性。

z但是，在APEnglishLang\APEnglishLit这类强指令跟随能力的表现没有明显提升，为什么？

[1]/index/learning-to-reason-with-llms/ 4

Post-TrainingScalingLaw

zQuestions

?回顾Pre-Training阶段的ScalingLaw?为什么我们需要Post-TrainingScalingLaw

?Post-TrainingScalingLaw是否存在？如果存在，那么这个模型性能的表现主要和什么有关？

5

回顾：Pre-Training阶段ScalingLaw

zScalingLaws:预训练模型上广泛观察到的现象，协调了计算量C、模型参数量N和数据大小D之间的关系

6

7为什么我们需要Post-TrainingScalingLaws

7

z随着模型尺寸逐渐增大，预训练阶段参数ScalingUp带来的边际收益开始递减；如果想要深度提升模型推理能力和长程问题能力，基于RL的Post-Training将会成为下一个突破点。

z自回归模型在数学推理问题上很难进步的一点在于没有办法进行回答的自主修正，如果仅是依靠生成式方法和扩大参数规模，那么在数学推理任务上带来的收益不会太大。所以需要寻找额外的ScalingLaws[1]。

[1]TrainingVerifierstoSolveMathWordProblems/pdf/2110.14168

[2]ScalingLLMTest-TimeComputeOptimallycanbeMoreEffectivethanScalingModelParameters

Post-TrainingScalingLaws

zPost-Training阶段，随着训练时计算量（来自RL的Training阶段）和Test-Time计算量