- 1、本文档共77页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
DeepSeek-R1\Kimi1.5及
类强推理模型开发解读
陈博远
北京大学2022级“通班”
主要研究方向:大语言模型对齐与可扩展监督
https://cby-pku.github.io/
/
北大对齐小组
Outline2
➢DeepSeek-R1开创RL加持下强推理慢思考范式新边界
➢DeepSeek-R1Zero及R1技术剖析
➢Pipeline总览\DeepSeek-V3Base\DeepSeek-R1Zero及R1细节分析
➢RL算法的创新:GRPO及其技术细节
➢DeepSeek-R1背后的InsightsTakeaways:RL加持下的长度泛化\推理范式的涌现
➢DeepSeek-R1社会及经济效益
➢技术对比探讨
➢STaR-basedMethodsvs.RL-basedMethods强推理路径对比(DS-R1\Kimi-1.5\o-series)
➢蒸馏vs.强化学习驱动:国内外现有各家技术路线对比分析及Takeaways
➢PRMMCTS的作用
➢从文本模态到多模态
➢其他讨论:Over-Thinking过度思考等
➢未来方向分析探讨
➢模态穿透赋能推理边界拓展:Align-DS-V
➢合成数据及Test-TimeScaling:突破数据再生产陷阱
➢强推理下的安全:形式化验证FormalVerification\审计对齐DeliberativeAlignment
➢补充拓展:DeepSeek-V3解读
DeepSeek-R1开创RL加持下强推理慢思考范式新边界3
➢OpenAIo1开启后训练Post-Training时代下的RL新范式:后训练扩展律Post-TrainingScalingLaw
➢DS-R1独立发现了一些通往o1路上的核心理念,并且效果还好到受到了OpenAI的认可
➢如何通过有效的Test-TimeScaling和Train-TimeScaling提升模型的推理能力?
➢得益于纯大规模强化学习,DeepSeek-R1具备强大推理能力与长文本思考能力,继开源来备受关注。
➢DeepSeekR1-Zero和R1的出现再次证明了强化学习的潜力所在:
➢R1-Zero从基础模型开始构建,完全依赖强化学习,而不使用人类专家标注的监督微调(SFT);
➢随着训练步骤增加,模型逐渐展现出长文本推理及长链推理能力;
➢随着推理路径增长,模型表现出自我修复和启发式搜索的能力;
DeepSeek-R1开创RL加持下强推理慢思考范式新边界4
➢得益于强大的推理能力与长文本思考能力,DeepSeekR1在复杂任务上表现卓越,成为开源领域的又
一里程碑,标志着开源社区在与闭源大模型(如OpenAIo1系列)的竞争中迈出了关键性一步。
➢DeepSeek-R1在数学代码任务上表现突出
➢DeepseekR1在AIME2024上获得了79.8%的成绩,略高于OpenAI-o1-1217。在MATH-500上,获得97.3%
的惊人成绩,表现与OpenAI-o1-1217相当。
➢在编码相关的任务中表现出专家水平,在
Codeforces上获得了2029Elo评级,在竞赛中表现
优于96.3%的人类参与者
➢DeepSeek-R1在知识类问答上推动科学探索边界:
➢MMLU\MMLU-Pro\GPQADiamond等STEM-
related榜单上取得良好
您可能关注的文档
最近下载
- 冶金安全知识培训课件.pptx
- 新马克思主义党的学说和党的建设 教学课件 吴美华 01 第一章 马克思主义党建理论的形成和发展.ppt VIP
- 原材料、中间产品和工程设备进场核验和验收监理实施细则.docx VIP
- 2023-2024学年湖南省长沙市浏阳市小学六年级数学毕业检测指导卷含解析.doc VIP
- 基于PLC控制的交流电机变频调速系统.docx
- (人教2024版)英语七年级下册全册单词表(含音标) .docx
- 标准图集-22G101-3 独立基础、条形基础、筏形基础、桩基础.pdf VIP
- 零售企业供应链数字化的财务风险研究--以永辉超市为例.pdf
- 2018年全国普通高等学校运动训练、民族传统体育专业单招统一招生考试数学.pdf
- 在线网课学习课堂《俄罗斯文化艺术赏析(北京联合大学 )》单元测试考核答案.pdf
- 可行性研究报告,商业策划书 + 关注
-
实名认证服务提供商
专注于金融公司,实体制造业,销售代理公司的企业文化和实体项目或者互联网项目的策划编写润色,曾经协助多家基金公司,保险代理公司,房地产代销公司等初创企业完成企业文化和人事营销等制度的编写,由于疫情影响离开了喜欢的首都。
文档评论(0)