用Horovod实现大规模分布式深度学习.pptxVIP

用Horovod实现大规模分布式深度学习宁旭 | Uber深度学习平台 纲要分布式深度学习原理介绍Horovod使用方法高级功能案例分析：美国橡树岭国家实验室新功能预览 纲要分布式深度学习原理介绍Horovod使用方法高级功能案例分析：美国橡树岭国家实验室新功能预览 深度学习原理回顾 分布式深度学习的基本方法模型并行数据并行 数据并行原理 用参数服务器实现数据并行 用Ring-AllReduce实现数据并行Andrew Gibiansky and Joel Hestness (Baidu Research), Bringing HPC Techniques to Deep Learning/baidu-research/tensorflow-allreduce 参数服务器/Ring-AllReduce优缺点分析优点缺点参数服务器理论容错性强支持异步SGD额外网络开销，扩展效率低Ring-AllReduce性能好，大规模训练资源利用率高网络占用率最优容错性差（MPI）来源：Analysis and Comparison of Distributed Training Techniques for Deep Neural Networks in a Dynamic Environment (/b745/74da37b775bf813bd9a28a72ba13ea6d47b3.pdf)