一种自适应训练的BP神经网络FPGA设计.docVIP

一种自适应训练的BP神经网络FPGA设计 　　摘 要： 为解决软件实现神经网络存在并行度不高、速度慢的缺点以及传统神经网络硬件设计资源利用高、网络训练不可控的不足，提出了一种新的BP神经网络FPGA设计方法。该方法通过基于对称性的分段线性拟合和非线性拟合实现Sigmoid激励函数和利用有限状态机实现基于误差的训练次数自适应。应用Verilog HDL语言设计1?3?1三层BP神经网络逼近[y=cosx]函数，网络的资源占用为2 756 LEs，训练次数为1 583次，网络测试样本的平均相对误差为0.6%，最高时钟频率为82.3 MHz。验证结果表明该方法设计的神经网络资源占用少，网络训练可自动控制，同时还具有精度高，运行速度快的优点。 　　关键词： FPGA； BP神经网络； 线性拟合； 非线性拟合； 自适应训练 　　中图分类号： TN702.2?34； TP183 文献标识码： A 文章编号： 1004?373X（2016）15?0115?04 　　Abstract： Using software for neural network has the disadvantages of low parallelism and slow speed， the hardware design resource utilization of the traditional neural network is high， and the network training is uncontrollable. To solve these problems， a new FPGA?based design method of back propagation （BP） neural network is proposed. The method can realize the Sigmoid excitation function through piecewise linear fitting and nonlinear fitting based on symmetry， and uses the finite state machine （FSM） to accomplish the training times adaption based on error. The Verilog HDL language is used to design the 1?3?1 BP neural network to approximate the function [y=cosx.] The resource occupancy of the network is 2 756 LEs， the training times are 1 583， the average relative error of the network test sample is 0.6%， and the maximum clock frequency is 82.3 MHz. The verification results show that the neural network designed with the method has the advantages of less resource occupancy， high accuracy and fast running speed， and can control the network training automatically. 　　Keywords： FPGA； BP neural network； linear fitting； nonlinear fitting； adaptive training 　　0 引 言 　　人工神经网络（ANNs）[1]通常都是采用基于软件的方法实现。但作为一个并行计算系统，软件实现的方法存在速度慢的缺点，而硬件方式具有高并行性的特点，适合于人工神经网络。FPGA作为一种通用的硬件设计平台，其内部分布式的资源与神经网络的结构非常契合，是一个实现神经网络硬件化设计的良好选择。 　　资源占用是FPGA设计的一个重要考量因素，而网络训练是神经网络功能实现的基础。已有的神经网络硬件设计工作在这两方面还存在巨大的空间。例如，薛维琴等利用FPGA实现了BP神经网络[2]，该网络经过训练能够描述非线性函数，但没有提出BP神经网络的激励函数和训练控制模块的具体硬件实现方法。李利歌等提出了直接利用查找表实现神经网络激励函数的方法[3]，但是查找表存在占用资源大，运行速度慢的缺点。张海燕等采用基于查找表的STAM算法实现神经网络激励函数[4]，且文