1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 人力资源/企业管理
  5. 工程管理

MegatronApp：面向万亿参数大模型的训练与推理增强实践.pptxVIP

  • 0
  • 0
  • 约4.87千字
  • 约 10页
  • 2026-03-03 发布于山西
  • 举报

MegatronApp：面向万亿参数大模型的训练与推理增强实践.pptx

    赵伯罕

    MegaFBD:解耦前后向计算实例

    目录

    ●

    过去五年，大模型规模从百亿级跨越到万亿级，训

    练架构也从单机单卡演进至跨节点的3D并行。

    PaLM

    540B参数

    预示未来突破与更高智能水平

    GPT-3

    175B参数

    开启超大规模预训练时代

    KimiK2

    1T参数

    展示跨千亿到万亿的飞跃

    DeepSeekR1

    671B参数

    强调规模化与性能兼顾

    2025

    2024

    2022

    2020

    DPTP/PP/DP/EP组合+可切换调度

    从单维到多目标系统优化

    挑战一:可靠性与运维挑战

    万卡规模将cc小概率故障放大为高频事件流;

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >