第九章 人工神经网络问题.ppt

（2）隐含层权重的变化 从第j个输入到第i 个输出的权重的变化： 其中， 3.2.3 误差传播分析 1、输出层权的调整 wpq= wpq+?wpq ?wpq=αδqop =αfn′(oq)(yq-oq)op =αoq(1-oq) (yq-oq)op wpq ANp ANq 第L-1层 第L层 ?wpq α为学习率 2、隐藏层权的调整 ? ANp ANq ANh vhp δpk-1 δ1k wp1 wpq δqk wpm δmk 第k-2层 第k层 第k-1层 … … 2、隐藏层权的调整 δpk-1的值和δ1k，δ2k，…，δmk 有关 不妨认为δpk-1 通过权wp1对δ1k做出贡献， 通过权wp2对δ2k做出贡献， …… 通过权wpm对δmk做出贡献。 δpk-1= fk-1′(netp) (wp1δ1k+ wp2δ2k+…+ wpmδm k) 2、隐藏层权的调整 vhp=vhp+?vhp ?vhp=αδpk-1ohk-2 =αfk-1 ′(netp)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 =αopk-1(1-opk-1)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 ANp ANq ANh vhp δpk-1 δ1k wp1 wpm δqk wpq δmk 第k-2层 第k层 第k-1层 … … 3.2.4 基本的BP算法 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 基本思想 ： 逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，…，W(L)各做一次调整，重复这个循环，直到∑Epε。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程 算法4-1 基本BP算法 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 4.2 对S中的每一个样本（Xp,Yp）： 4.2.1 计算出Xp对应的实际输出Op； 4.2.2 计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整W(L)； 4.2.5 k=L-1； 4.2.6 while k≠0 do 4.2.6.1 根据相应式子调整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 3.3 算法的改进 1、BP网络接受样本的顺序对训练结果有较大影响。它更“偏爱”较后出现的样本 2、给集中的样本安排一个适当的顺序，是非常困难的。 3、样本顺序影响结果的原因：“分别”、“依次” 4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“总效果”修改W(1) ，W(2) ，…，W(L)。 ?w(k)ij=∑?p w(k)ij 算法3-2 消除样本顺序影响的BP算法 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 4.2 对所有的i，j，k：? w (k)ij=0； 4.3 对S中的每一个样本（Xp,Yp）： 4.3.1 计算出Xp对应的实际输出Op； 4.3.2 计算出Ep； 4.3.3 E=E+Ep； 4.3.4 对所有i，j根据相应式子计算?p w (L)ij； 4.3.5 对所有i，j：? w (L)ij=? w (L)ij+?p w (L)ij； 4.3.6 k=L-1； 4.3.7 while k≠0 do 4.3.7.1 对所有i,j根据相应式子计算?p w (k)ij； 4.3.7.2 对所有i,j：? w (k)ij=? w (k)ij+?p w (k)ij； 4.3.7.3 k=k-1 4.4 对所有i，j，k：w (k)ij= w (k)ij+ ?w (k)ij; 4.5 E=E/2.0 算法3-2 分析 较好地解决了因样本的顺序引起的精度问题和训练的抖动问题 收敛速度：比较慢 偏移量：给每一个神经元增加一个偏移量来加快收敛速度 冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动问题 算法3-2 分析——冲量设置 Rumelhart等人1986年