标准BP算法及改进的BP算法.pptVIP

标准BP算法及改进的BP算法应用 1.1 标准的BP算法 BP标准的BP算法是基于梯度下降法，通过计算目标函数对网络权值和阈值的梯度进行修正。 X(k + 1 ) = X(k) - μΔF( X(K) ) X(K)为由网络所有权值和阈值所形成的向量； μ为学习速率； ΔF( X(K) )为目标函数的梯度； 标准的BP 算法虽然原理简单，实现方便，但由于训练过程中为一较小的常数，因而存在收敛速度慢和局部极小的问题。 对于复杂问题，训练过程需迭代几千、几万次才能收敛到期望的精度。 因此，标准的BP 网络在很大程度上表现出它的不实用性，特别是对实时性很强的系统。为此就有了各种改进算法。 标准BP网络的应用 P = -1:0.1:1 T = [-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201 ]; [R,Q] = size(P); [S2,Q] = size(T); S1 = 5; [W1,B1] = rands(S1,R); [W2,B2] = rands(S2,S1); net = newcf( minmax(P), [5,1], {tansig,purelin},traingd ); net.trainParam.epochs = 7000; net.performFcn = sse; net.trainParam.goal = 0.02; [net,tr] = train(net,P,T); Y = sim(net,P); plot(P,T,P,Y,’o’) 1.2 附加动量法 附加动量法使网络在修正权值时不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响； X( K+1 ) = Mc( X(K) – X(K – 1) ) – (1 - Mc)μΔF(X(K)) 式中0 = Mc = 1 为动量因子； 附加动量法的实质是将最后一次权值变化的影响通过一个动量因子来传递。 附加动量法的应用 P = -1:0.1:1 T = [-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201 ]; [R,Q] = size(P); [S2,Q] = size(T); S1 = 5; [W1,B1] = rands(S1,R); [W2,B2] = rands(S2,S1); net = newff( minmax(P), [5,1], {tansig,purelin},traingdx ); net.trainParam.epochs = 700; net.trainParam.mc = 0.95; net.trainParam.lr = 0.05; net.performFcn = sse; net.trainParam.goal = 0.02; [net,tr] = train(net,P,T); Y = sim(net,P); plot(P,T,P,Y,’o’) 1.3 自适应学习率调整法 在BP算法中，网络权值的调整取决于学习速率和梯度。在标准BP 算法中，学习速率是不变的。 而在自适应学习率调整法中，通常学习速率的调整准则是：检查权值的修正是否真正降低了误差函数，如果确实如此，则说明所选的学习率小了，可对其增加一个量；若不是则说明产生了过调，那么就应减小学习速率的值。 X(k + 1 ) = X(k) - μ(K)ΔF( X(K) ) 通过调整学习率μ(K)，从而可得到比标准的BP算法更快的收敛速度。 因此，将附加动量法和自适应学习率调整法两种策略结合起来，既可有效地抑制网络陷入局部极小，又有利于缩短学习时间。 但上述两种改进方法都是在标准梯度下降法基础上发展起来的，它们只利用了目标函数对网络权值和阈值的一阶导数信息。因此，当用于较复杂的问题时，也还存在收敛速度不够快的问题。 自适应学习速率应用 P = -1:0.1:1 T = [-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0