原创力文档- 4
- 0
- 约1.44万字
- 约 12页
- 2023-04-23 发布于四川
- 举报
本发明公开了基于Top‑k的支持复杂网络状况的自适应分布式梯度压缩方法，包括各分布式节点运行深度神经网络学习模型,完成梯度计算过程，保存当前轮数的训练精准度；运用事先部署于各分布式节点的自适应梯度压缩算法针对不同的网络状况产生压缩率调整决策；针对产生的压缩率调整决策，在各个分布式节点中自适应改变当前梯度压缩率；分布式梯度通信过程完成后，各分布式节点保存当前轮数的通信时间，重复进行下一轮的分布式神经神经网络训练。本发明结合分布式深度神经网络训练中的多维度评估特征进行自适应地调整梯度通信压缩率，适用
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 113988266 A
(43)申请公布日 2022.01.28
(21)申请号 202111282366.9
(22)申请日 2021.11.01
(71)申请人 南京大学
地址 21
文档评论（0）