基于分布式通信的神经网络训练方法、装置及存储介质.pdfVIP

  • 0
  • 0
  • 约4.1万字
  • 约 32页
  • 2023-06-06 发布于四川
  • 举报

基于分布式通信的神经网络训练方法、装置及存储介质.pdf

本公开涉及基于分布式通信的神经网络训练方法、装置及存储介质,该方法包括训练神经网络,将产生的梯度保存在第一梯度序列;根据该第一梯度序列和第二梯度序列,得到累计梯度序列;该第二梯度序列用于记录尚未参与同步的梯度;根据该累计梯度序列计算得到重要度指标序列;获取重要梯度指示序列,根据该重要梯度指示序列确定该累计梯度序列中的重要梯度;根据该重要梯度和该重要度指标序列得到该训练节点的待同步信息;基于该待同步信息进行训练节点间的同步,得到同步后梯度序列和同步后重要梯度指示序列;根据该同步后梯度序列调整该神经

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112766502 A (43)申请公布日 2021.05.07 (21)申请号 202110221266.9 (22)申请日 2021.02.27 (71)申请人 上海商汤智能科技有限公司

文档评论(0)

1亿VIP精品文档

相关文档