训练分析方法、装置、存储介质及电子设备.pdfVIP

  • 0
  • 0
  • 约4.09万字
  • 约 28页
  • 2023-05-11 发布于四川
  • 举报

训练分析方法、装置、存储介质及电子设备.pdf

本公开涉及一种训练分析方法、装置、存储介质及电子设备,以实现细粒度的通信算子跟踪,并对齐来自不同计算单元的跟踪时间戳,提升对分布式训练的分析准确性。该方法包括:确定深度神经网络的全局依赖图;以最小化时间对齐函数为目标,以时间对齐前后全局依赖图中各节点间的操作依赖性不变为约束条件,确定多个处理器相对参考处理器的时间偏移量;根据全局依赖图和时间偏移量,离线模拟深度神经网络的分布式训练过程,并根据离线模拟的结果,确定对深度神经网络的分布式训练分析结果。

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114580664 A (43)申请公布日 2022.06.03 (21)申请号 202210203925.0 (22)申请日 2022.03.03 (71)申请人 字节跳动(香港)有

文档评论(0)

1亿VIP精品文档

相关文档