BP神经网络学习算法研究分析.docVIP

BP神经网络学习算法的研究 刘彩红 (西安工业大学北方信息工程学院，西安) 摘 要：（目的）本文针对BP算法收敛速度慢的问题，提出一种改进的BP算法。（方法）该算法结合生物神经元学习与记忆形成的特点，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与目标输出相差较大，那么我们只需要对未被激发的神经元权值阈值进行调整。利用距离来度量训练样本与神经元权值之间的关系，可以找到未被激发的神经元。所以本论文提出的算法是对局部神经元权值阈值的调整，（结果）通过实验表明该算法有助于加快网络的学习速度。 关键词：BP神经网络，学习算法，距离，权值阈值调整 The Study of Algorithm of BP Neural Network LIU Cai-hong (Xi’an Technological University North Institute of Information Engineering ，Xi’an China) Abstract:The paper proposed an improved BP algorithm. According to the characteristics of biological neuron in learning and memory formation, only some neurons were stimulated to produce the output for the specific training samples, while the other part of the neurons weren’t stimulated. There are large difference between this part of the neuron’s output and target, and then we need this part neurons weight and threshold value to adjust. Use to measure the distance from the training sample and the relationship between the weights of each neuron, can find not stimulated neurons.Therefore the algorithm proposed in this paper only adjust the weight and the threshold value of the local neurons, and this can accelerate the learning speed of the network. Keywords: BP Neural Network, Learning Algorithm, , Distance, Weight and Threshold Adjustment 1 引言 传统BP算法是一种利用实际输出与期望输出之间的误差对网络的各层连接权值和各结点的阈值由后向前逐层进行校正的一种监督式学习方法。它根据最小二乘原理和梯度搜索技术，将学习过程分为输入样本的正向传播和误差的反向传播两个阶段。输入样本从输入层传递给隐藏层各结点，经过各隐藏层用激励函数逐层处理后传递给输出层，若输出层的实际输出与期望输出的误差达不到预定要求，则将误差沿着原连接通路反向传播，同时根据误差来调整各层的连接权值和阈值，使实际输出与期望输出的误差逐渐减小。传统BP（Back Propagation）算法的性能依赖于初始条件，学习速度慢，学习过程易陷入局部极小。近年来，人们根据实际应用的需要对传统BP算法做了许多改进，主要有采用自适应学习率、与遗传算法结合[1-2]和可调隐层结构[3-4]等，这些方法在一定程度上优化了BP算法。但以往大多改进算法，在误差的反向传播阶段也就是训练的第二阶段，是对所有神经元的权值阈值都进行修改的。针对不同的输入，神经网络激发不同的神经元，所以可以在训练的第二阶段修改部分神经元的权值阈值。但本文对此的研究目前仅限于只有一个隐层的BP神经网络。 2 基于局部权值阈值调整算法的改进思想 神经网络学习的过程实际上是根据一定的学习算法调节网络中各连接的过程。之间的关系，关系较远的隐层神经元未被激发。因为关系较远，说明神经元记忆的内容与输入向量之间的差距较大，则它的输出值就会和目标值有所偏离，所以需要调整与它相连的权值阈值，那么该神经元就是竞争获胜的隐层神经元。 （3）所有的输出层神经元无条件为获胜神经元。 对BP神经网络的学习算法进行如下修改：针对训练样本，神经元