1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种深度学习模型的分布式训练方法.pdfVIP

  • 5
  • 0
  • 约1.27万字
  • 约 12页
  • 2023-07-15 发布于四川
  • 举报

一种深度学习模型的分布式训练方法.pdf

    本发明公开了涉及深度学习技术领域的一种深度学习模型的分布式训练方法，包括基于熵的梯度稀疏压缩方法和基于熵的梯度稀疏压缩下的更新方法，在分布式训练时，基于熵的梯度稀疏压缩下的更新方式是每个工作节点在本地对当前产生的梯度进行稀疏压缩并上传，由参数服务器进行平均，放入优化器计算后下发，乘上学习率用于更新参数；在使用梯度修正之后，工作节点会现在本地使用本地优化器对本地完整梯度进行计算然后上传对该梯度的稀疏结果，再由参数服务器收集之后进行平均、下发。本发明通过可训练参数，防止由传统梯度稀疏压缩带来的模型表

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116432714 A (43)申请公布日 2023.07.14 (21)申请号 202211484363.8 (22)申请日 2022.11.24 (71)申请人 南京审计大学

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >