基于多机多卡的卷积神经网络性能优化-计算机系统结构专业论文.docxVIP

优秀毕业论文 精品参考文献资料 摘要摘要 摘要 摘要 随着深度学习在各个领域的普及，神经网络参数的规模越来越大，训练的 周期也越来越长，多GPU加速成了必然的硬件解决方案。为了最大化多GPU 的硬件利用率，本文研究和实现了深度学习的GPU优化策略，包括单机单卡和 多机多卡方案。 本文在单机单卡方面的主要工作与贡献包括g 单机单卡方面，本文详细地介绍了神经网络常用结构以及加速细节，维护 了名为“CUDA．CNN”的开源项目。该项目己经支持包括卷积层，池化层， Softmax层，分支层，合并层，NIN层，Inception层以及多种数据扩展方法等。 此外，该项目在MNIST数据集上取得公开结果中最高的准确率99．81％。 本文在多机多卡方面的主要工作与贡献包括： 首先，主要研究如何提高系统的负载均衡能力以及减少并行开销。通过实 验证明，在单位时间内，每个GPU分别迭代fetchf次后，再将残差和汇总到参 数服务器，这种方法除了减少通信频率之外，又能够根据GPU的计算能力分配 不同的规模的任务，提高了系统的负载均衡能力。此外，本文引入了热启动技 术，通过动态的修改参数同步频率，有效地提高了训练前期的收敛速度。 其次，详细设计了多机卡的任务调度器。首先，为了避免人为分析程序并 行性所带来的遗漏或者错误风险，本文沿用Purine中的二分图技术。由于二分 图中包含了所有操作之间的数据依赖关系信息，调度器可以自动分析任务的并 行性，最大化异步操作；其次，为了减少并行开销，本文在调度器中引入线程 池和任务队列，将使用同类型硬件的计算任务放在同一个线程池或者任务队列 中，有效地减少了线程的创建和销毁频率，减少由资源竞争引起的并行开销。 最后，通过引入CUDA的事件机制来支持调度器的同步操作。 最后，实验表明，在单机多卡环境中，Npruine性能比Purine提高了23．7％， 与此同时，两个计算能力不相同的GPU利用率都达到96％左右。此外，Purine 在使用四个节点的集群上，性能不但没有增加，反而仅是单个节点性能表现的 47％。经过优化和改进，新架构Npurine能够在廉价网络连接的集群上运行，其 性能是Purine的12．34倍。 关键词：Purine，多机多卡，深度学习，负载均衡 摘要 II ABSTRACTWith ABSTRACT With the popularity of deep learning and the growing of neural network parameters，the training time of deep neural netwoks is becoming longer．Multi—GPU is the inevitable hardware solution．In order to maximize the utilization of multi-GPU hardware，this thesis researches and realizes the acceleration of deep neural networks by using GPU，by using single·machine and single-GPU or using multi．machine and mutil．GP[，． The main work and contributions of single-machine and single．GPU are as following： In the single—machine and single—GPU framework，this article describes the structure of the neural network and the acceleration details by using CUDA．We maintain an open‘source project called”CUDA—CNN”．The project now supports for convolution layer,pool layer,Soflmax layer，branch layer,combine layer,NIN layer, Inception layer and a variety of data augmentation method and SO on．Funhennore． the project has got the highest accuracy rate of 99．8 1％on MNIST data set． The main work and contributions of multi．machine a