一种用于分布式深度学习训练的本地更新方法.pdfVIP

  • 2
  • 0
  • 约1.01万字
  • 约 7页
  • 2023-05-28 发布于四川
  • 举报

一种用于分布式深度学习训练的本地更新方法.pdf

本发明公开了一种用于分布式深度学习训练的本地更新方法,具体包括以下步骤:对从参数服务器端取回的全局权重进行备份并保存到备份权重变量中;在每个计算节点中计算全局梯度;利用本地梯度和全局梯度对本地权重进行更新得到新的本地权重,并开始下一轮的迭代训练;在接下来的k‑1次迭代训练中,每个计算节点将基于各自独立的本地权重进行本地更新操作;在第k次迭代中,计算节点将执行该权重取回操作并保存到本地权重中,在完成全局梯度计算后,利用本地权重对备份权重的值进行覆盖。利用本发明进行分布式深度学习训练中的本地更新操作

(19)中华人民共和国国家知识产权局 (12)发明专利 (10)授权公告号 CN 112381218 B (45)授权公告日 2022.04.12 (21)申请号 202011312705.9 (56)对比文件

文档评论(0)

1亿VIP精品文档

相关文档