1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于层稀疏化的分布式深度学习训练方法及系统.pdfVIP

  • 2
  • 0
  • 约1.81万字
  • 约 17页
  • 2023-05-05 发布于四川
  • 举报

一种基于层稀疏化的分布式深度学习训练方法及系统.pdf

    本发明公开了一种基于层稀疏化的分布式深度学习训练方法及系统，属于分布式训练通信稀疏化技术领域，包括如下步骤：根据神经网络模型收敛特性，得到归一化窗口中心列表；利用层稀疏化方法和归一化窗口中心列表，得到层传输列表；根据层传输列表进行基于层稀疏化的分布式深度学习训练，得到权重更新参数，完成基于层稀疏化的分布式深度学习训练；并对应设置了基于层稀疏化的分布式深度学习训练方法的系统，本发明解决了现有的训练框架仅在网络层内部稀疏化的问题，有效提升了稀疏化程度，降低了通信量。

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114298277 A (43)申请公布日 2022.04.08 (21)申请号 202111627780.9 (22)申请日 2021.12.28 (71)申请人 四川大学 地址 61

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >