神经网络前向传播在gpu上的实现.pdf

技术与方法 Technique and Method 神经网络前向传播在GPU 上的实现* 刘进锋，郭 雷 （西北工业大学 自动化学院，陕西 西安710129 ） 摘 要： 基于 CUDA 架构在 GPU 上实现了神经网络前向传播算法，该算法利用神经网络各层内神 经元计算的并行性，每层使用一个 Kernel 函数来并行计算该层神经元的值，每个 Kernel 函数都根据神 经网络的特性和 架构的特点进行优化。 实验表明，该算法比普通的 上的算法快了约 倍。 CUDA CPU 7 研究结果对于提高神经网络的运算速度以及 CUDA 的适用场合都有参考价值。 关键词： 神经网络；CUDA ；GPU 中图分类号： TP183 文献标识码： A 文章编号： 1674-7720(2011)18-0069-03 A forward propagation implementation of neural network on GPU Liu Jinfeng ，Guo Lei (School of Automation, Northwestern Polytechnical University, Xi ′an 710129 ，China) Abstract ： A neural network forward propagation algorithm based on CUDA is implemented. This algorithm utilizes the paral - lelism of each layer, uses a kernel function to handle the parallelism computation of the neuron values of that level, and each ker - nel function is optimized according the characteristic of network and CUDA architecture. Experiment shows that this method can achieve up to 7 times of speedup over the ordinary method on CPU. This research has reference value for both increasing neural network computing speed and suitability of CUDA. Key words ： neural network ；CUDA ；GPU （ 图形处理器） 是处理计算机图形的专用设备。 大大降低。 的 编程语言基于标准的 语言， GPU CUDA GPU C 近十年来 ， 由于高清晰度复杂图形实时处理的需求， 开发 CUDA 的应用程序较为方便。 GPU 发展成为高并行度、 多线程、 多核的处理器。 目前主 在 CUDA 架构下，一个程序分为两个部分：host 端和 流 GPU 的运算能力已超过主流通用 CPU ， 从发展趋势 device 端。 host 端是指在 CPU 上执行的部分，而 device 端 上看将来差距会越来越大 。 GPU 卓越的性能对开发 则是在 GPU 上执行的部分 。 device 端的程序又称为 GPGPU （使用 GPU 进行通用计算） 非常具有吸引力。