GPipe：使用管道并行高效训练大型神网络.pdfVIP

GPipe：使用管道并行高效训练大型神经网络

黄艳萍、、安库尔·巴普纳、奥尔罕·菲拉特、、、、陈志峰

{huangyp,ylc,ankurbpn,orhanf,miachen,dehao,hyouklee,jngiam,qvl,yonghui,zhifengc}

@.com

扩大深度神经网络的容量已被证明是提高多个不同机器学习任务模型质量的有

效方法。在许多情况下，当模型容量超过单个的内存限制时，需要开发

特殊的算法或基础设施。这些解决方案通常是特定于架构的，并且不能转移到

其他任务。为了实现高效且与任务无关的模型并行化，我们引入了GPipe，这

一

是个管道并行库，允许将任何可以表示为层序列的网络进行扩展。通过在不

同的上对不同的层子序列进行管道处理，GPipe了将各种不同网络

高扩到巨大规模的灵活性。此外，GPipe利用了一种新颖的批量分割管道

效展

算法，在模型跨多个