基于数据并行的神经语言模型多卡训练分析AnalysisofDataParallel.PDFVIP

基于数据并行的神经语言模型多卡训练分析 李垠桥，阿敏巴雅尔，薄乐，肖桐，朱靖波，张俐 （东北大学自然语言处理实验室，辽宁沈阳110819） 摘要：数据并行训练神经语言模型旨在不改变网络结构的同时，大幅度降低训练所带来的时间消耗。但由 于多设备之间频繁的数据传输，使得整体加速效果并不理想。本文通过实验对比All-Reduce 算法和基于采 样的梯度更新策略在数据传输上的加速效果，使用了4 块NVIDIA TITAN X (Pascal) GPU 设备在循环神经 语言模型上进行训练，两种方法分别可获得约25%和41% 的速度提升。同时，本文还针对数据并行方法的 适用性以及不同的硬件设备连接方式对传输速度的影响进行了讨论。 关键词：数据并行；神经语言模型；All-Reduce ；采样 中图分类号：TP391 文献标识码：A Analysis of Data Parallel Methods in Training Neural Language Models via Multiple GPUs LI Yinqiao, HAN Ambyer, BO Le, XIAO Tong, ZHU Jingbo, ZHANG Li (NLP Laboratory, Northeastern University, Shenyang, Liaoning 110819, China) Abstract: Data parallelism aims at reducing time consumption without changing network structure while training neural language model. However, the result is not satisfactory due to frequent data transmission between multiple devices. In this paper, we compare the effect of gradient update strategies based on the All-Reduce algorithm and the sampling-based approach in data transmission. On four NVIDIA TITAN X (Pascal) GPUs, it achieves a speedup of 25% and 41% in recurrent neural language model respectively. Additionally, we discuss the applicability of data parallelism and influence of hardware connection mode. Key words: data parallelism; neural language model; All-Reduce; sampling 1 引言 使用神经网络进行语言建模依赖于大 的时间占比高达70% 。可以看出减小这部分 规模的语料数据，同时更大规模的参数设置 耗时成为解决多设备训练中的重要问题。 一般来说也会对神经语言模型的训练有着 科研人员针对如何在单位时间内传输 [1-3] 正向的作用 。但当面对海量的数据和大 大量的数据进行了研究，提出了许多可行的 [6] 规模的网络参数时，如何更加快速地进行模 方法，如异步参数更新 、基于采样的更新 型训练便成了一个亟待解决的问题。 [7]等。本文主要针对使用All-Reduce 算法以 针对此问题，研究人员引入了GPU 加 及采样策略的神经网络梯度更新进行实验， 快矩阵运算，为了进一步获得速度提升，训 在不同设备数量下训练前馈神经网络和循