支持OpenCL的GPU加速人工神经网络训练①.PDFVIP

2011 年 第 20 卷 第 7 期 计 算 机 系 统 应 用 支持OpenCL 的GPU 加速人工神经网络训练① 祝伟华，付先珺 (重庆大学 软件工程学院，重庆 400044) 摘 要：人工神经网络训练所包含的运算量随着网络中神经元的数量增多而加大，对于神经元较多的网络训练 很耗时。提高人工神经网络训练速度的一个方法是对训练算法优化以减少计算量。由于人工神经网络训练算法 包含大量的矩阵和向量运算，如果把优化的算法用运行在 GPU 上的 OpenCL C 语言实现，则训练速度相比传统 基于 CPU 计算的实现会提高很多。从硬件的并行计算能力着手，以 RPROP 算法为例，对其运行在 GPU 上的 OpenCL C 语言实现作一些研究。 关键词：加速；人工神经网络；RPROP ；OpenCL ；CPU Accelerating of Artificial Neural Network Training by GPU with OpenCL Support ZHU Wei-Hua, FU Xian-Jun (School of Software Engineering, Chongqing University, Chongqing, 400044, China) Abstract: The computation quantity in artificial neural network training will get more and more with the increase of neurons quantity, it is time-consuming for training a neural network with too many neurons. A method that accelerates artificial neural network training is to optimize the training algorithm, so as to reduce the computation quantity. Since there is too much matrix and vector computation in artificial neural network training algorithm, the optimized training algorithm implemented by OpenCL C language on GPU, compared to the conventional CPU-based implementation, the training speed will be increased a lot. Based on parallel computing ability of hardware, accelerating of artificial neural network training by GPU with OpenCL Support is researched in this paper. Key words: accelerating; artificial neural network; RPROP; OpenCL; GPU 1 概述 for C# 中以XOR 运算为训练模型的 RPROP 算法为例， 人工神经网络的运算量不但与网络的规模有关， 对其运行在 ATI Radeon HD 5700 Series GPU 上的 还与网络各层权值和偏置值的初始值的选取、学习模 OpenCL C 语言实现方法做一些研究，并与运在 型的选取和算法等有关。为了减少运算量，很多改进 Intel(R)Core(TM) i5 CPU 上的源程序训练时间做比较。 算法被提出来。例如 BP 算法，由于可能陷入局部极 值、最佳学习率的选取不当等会对训练的速度和结果 2 RPROP算法原理 造成影响，一种改进方法（例如 RPROP 算法）是通过 以下是Encog Project 中关于