面向训练阶段的神经网络性能分析.docVIP

面向训练阶段的神经网络性能分析 李景军 张宸 曹强 华中科技大学武汉光电国家实验室 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 最近, 神经网络被广泛应用到许多领域。然而, 随着神经网络模型越来越复杂, 图形处理单元 (Graphics Processing Unit, GPU) 被应用到深度学习中。GPU在加速矩阵计算方面展现出了卓越的性能, 但是多样和复杂的神经网络模型导致网络训练阶段GPU的计算资源和显存并没有充分利用。本文对神经网络训练阶段进行细粒度的性能分析。首先从数据流的角度把训练过程分解为六个阶段, 并测试每一个阶段的延时;然后从GPU加速库、神经网络模型和批次三个方面量化分析每一层的GPU计算效率和资源利用率;最后分析每层的参数和特征图的显存占用情况。实验发现: (1) cu DNN库卷积的计算效率是cu BLAS库的2倍。 (2) 卷积层的资源利用率比全连接层高50%。 (3) 不同层的显存利用率差异很大, 整体利用率不高, 最大不超过显存的20%。 关键词： 网络模型; GPU资源利用率; 计算效率; 数据流; GPU加速库; 作者简介：李景军 (1994—) , 男, 华中科技大学硕士研究生, 主要研宄领域为系统结构和机器学习。 作者简介：张宸 (1993—) , 男, 华中科技大学博士研宄生, 主要研究领域为深度学习, 系统结构和机器学习。 作者简介：曹强 (1975—) , 男, 华中科技大学教授, 主要研究领域为系统结构, 机器学习, 大规模存储系统和存储系统设计与优化等。 Analyzing the Performance of Neural Networks in Training Phase LI Jingjun ZHANG Chen CAO Qiang Key Laboratory of Information Storage System, Ministry of Education of China. Wuhan National Laboratory for Optoelectronics, Huazhong University of Science Technology; Abstract： Recently, the neural networks have increasingly delopyed in many fields. However, as complexity of neural networks grew, Graphics Processing Units (GPUs) began being applied in deep learing. Though GPUs have exhibited excellent performance on accelerating matrix multiplication, the real computing resources and memory resources of GPUs have not been fully utilized in the compute-intensive neural network training phase due to the complexity and diversity of network models. In this paper, we focus on doing an experimental and fine-grained performance analysis for deep neural network models. First, we divide the training phase into six stages in the sight of data flow and measure the latency of each stage. And then, we present a quantitative analysis for GPU compute efficiency and resource utilization in each layer from point of views of GPU-accelerated libraries, neural network models, and batch size. Finally, weights and feature maps of each layer is given quantitatively to reveal