1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

数据中心大模型训练的流水线并行优化方法及装置.pdfVIP

  • 13
  • 0
  • 约1.91万字
  • 约 16页
  • 2024-05-25 发布于四川
  • 举报

数据中心大模型训练的流水线并行优化方法及装置.pdf

    本发明涉及电数字数据处理技术领域，特别涉及一种数据中心大模型训练的流水线并行优化方法及装置，其中，方法包括：获取待训练大模型的初始流水线中每个工作设备的任务列表和任务队列，根据预设经验规则得到当前时刻下至少一个工作设备的目标任务，并根据至少一个工作设备的目标任务更新对应的任务列表，由至少一个工作设备执行更新后的任务列表，直至清空任务队列，得到完结任务列表优化初始流水线，以利用优化后的初始流水线执行待训练大模型在预设数据中心的流水线并行。本发明实施例可以基于预先设定的经验规则选取工作设备的当前任务

    (19)国家知识产权局

    (12)发明专利申请

    (10)申请公布号CN118069375A

    (43)申请公布日2024.05.24

    (21)申请号202410466707.5

    (22)申请日2024.04.18

    (71)申请人清华大学

    地址100084

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >