一种面向通用计算设备的自动流水线并行训练框架.pdfVIP

://

httwww．skx．com

pjj

:/

DOI１０．１１８９６skx．２３１０００１１０

jj

一种面向通用计算设备的自动流水线并行训练框架

钟震宇林勇良王昊天李东闻孙羽菲张玉志

南开大学软件学院天津

３００３５０

()

zzhon＠mail．nankai．edu．cn

yg

,.

摘要训练大规模神经网络通常会出现单个计算节点的内存和计算能力不足的情况需要通过多个节点分布式训练来实现

,.

现有的分布式深度学习框架主要针对特定的硬件环境设计不能够有效适应各类通用计算设备为支持大规模深度神经网络

,.

的高效训练实现了一种通用的自动流水线并行分布式训练框架本框架通过结合基于流水线并行的模型并行策略与神经网

,,

络模型自动拆分算法实现了在包括国内新一代超级计算机在内的通用计算机集群上对大规模神经网络模型与训练数据进行

,.,

自动并行化处理和训练显著减轻单个计算节点的内存和计算压力该框架无需人工调整可以自动高效地在多节点分布式环

,,,

境中部署深度神经网络不仅适用于超级计算机等高性能计算机集群还可以部署到其他通用的分布式计算环境中为大规模

神经网络的自动化分布式训练提供支持.

:;;;;

关键词流水线并行深度神经网络超级计算机MPI并行计算

中图分类号TP１８３

AutomaticPielineParallelTraininFrameworkforGeneralＧuroseComutinDevices

pgpppg

,,,,

ZHONGZhenuLINYonlianWANGHaotianLIDonwenSUNYufeiandZHANGYuzhi

yggg

,,,

ColleeofSoftwareNankaiUniversitTianin３００３５０China

gyj

AbstractTraininlareＧscaleneuralnetworksusuallexceedsthememorandcomutincaacitofasi