1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 并行计算/云计算

2-5 FastMoE：开源分布式MoE模型训练系统.pdfVIP

  • 9
  • 0
  • 约7.68千字
  • 约 26页
  • 2024-01-31 发布于广东
  • 举报

2-5 FastMoE：开源分布式MoE模型训练系统.pdf

    开源分布式MoE模型训练系统

    fastmoe.ai

    /laekov/fastmoe

    清华⼤学裘捷中

    ⽬录

    回顾MoE发展的历程

    FastMoE框架设计

    FastMoEv0.2新特性

    核⼼开发团队

    清华大学KEG实验室

    曾奥涵裘捷中唐杰

    清华大学PACMAN实验室

    何家傲TiagoAntunes翟季冬

    预训练模型的发展趋势:规模越来越⼤

    BERT:0.34BGPT3:175B

    Google,2018OpenAI,2020

    MoE模型

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >