异构环境感知的分布式神经网络训练模型.pdfVIP

年月计算机工程与设计

20249Set.2024

p

第卷第期COMPUTERENGINEERINGANDDESIGN

459Vol.45No.9

异构环境感知的分布式神经网络训练模型

+

,,,

咸琳涛刘晓兰王淦刘建明

(,)

潍坊医学院智能医学工程实验室山东潍坊261053

:、,

摘要针对分布式神经网络训练在异构环境中训练速度慢资源利用率低的问题提出一种异构环境感知的分布式神经

()。,,

网络训练模型H-PS根据计算节点当前状态动态调度训练任务使计算节点能够在相同时间完成训练任务提高资源

。,,,

利用率提出通信与计算并行策略参数服务器与计算节点传输模型参数期间计算节点持续模型计算进一步提高资源

。,,。

利用率使用灵活的量化策略压缩神经网络模型参数减少参数服务器与计算节点的通信开销使用新兴的容器集群进

,,,。

行实验结果表明与现有方法相比H-PS训练时间缩短1.4~3.5倍

:;;;;;;

关键词分布式机器学习异构环境任务动态规划通信与计算并行参数动态量化深度神经网络容器集群

中图法分类号:文献标识号:文章编号:()

TP181A1000-7024202409-2821-07

:/

doi10.16208.issn1000-7024.2024.09.035

j

Distributedneuralnetworktraininmodelfor

g

heteroeneousenvironmentercetion

gpp

+

,,,

XIANLin-taoLIUXiao-lanWANGGanLIUJian-ming

(,,,)