神经网络简论.pptVIP

* * 4.3 对S中的每一个样本（Xp,Yp）： 4.3.1 计算出Xp对应的实际输出Op； 4.3.2 计算出Ep； 4.3.3 E=E+Ep； 4.3.4 对所有i，j根据相应式子计算?p w (L)ij； 4.3.5 对所有i，j：? w (L)ij=? w (L)ij+?p w (L)ij； 4.3.6 k=L-1； 4.3.7 while k≠0 do 4.3.7.1 对所有i,j根据相应式子计算?p w (k)ij； 4.3.7.2 对所有i,j：? w (k)ij=? w (k)ij+?p w (k)ij； 4.3.7.3 k=k-1 4.4 对所有i，j，k：w (k)ij= w (k)ij+ ?w (k)ij; 4.5 E=E/2.0 * * 算法4-2 分析 较好地解决了因样本的顺序引起的精度问题和训练的抖动问题 收敛速度：比较慢 偏移量：给每一个神经元增加一个偏移量来加快收敛速度 冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动问题 * * 算法4-2 分析——冲量设置 Rumelhart等人1986年 ?wij=αδjoi+β?wij′ ?wij′为上一次的修改量，β为冲量系数，一般可取到0.9 Sejnowski与Rosenberg ，1987年 ?wij=α((1-β)δjoi+β?wij′) ?wij′也是上一次的修改量，β在0和1之间取值 * * 4.4 算法的实现 主要数据结构 W[H，m]——输出层的权矩阵； V[n，H]——输入（隐藏）层的权矩阵； ?o[m]——输出层各联接权的修改量组成的向量； ?h[H]——隐藏层各联接权的修改量组成的向量； O1——隐藏层的输出向量； O2——输出层的输出向量； (X，Y)——一个样本。 * * 算法的主要实现步骤 用不同的小伪随机数初始化W，V； 初始化精度控制参数ε；学习率α ； 循环控制参数E=ε+1；循环最大次数M；循环次数控制参数N=0； while Eε NM do 4.1 N=N+1；E=0； 4.2 对每一个样本(X,Y)，执行如下操作 * * 4.2 对每一个样本(X,Y)，执行的操作 4.2.1 计算：O1=F1(XV)；O2=F2(O1W)； 4.2.2 计算输出层的权修改量 for i=1 to m 4.2.2.1 ?o[i]= O2 [i]*(1- O2 [i])*(Y[i]-O2 [i])； 4.2.3 计算输出误差：for i=1 to m 4.2.3.1 E=E+(Y[i]-O2 [i])2； * * 4.2 对每一个样本(X，Y)，执行的操作 4.2.4 计算隐藏层的权修改量：for i=1 to H 4.2.4.1 Z=0； 4.2.4.2 for j=1 to m do Z=Z+W[i,j]* ?o[j]； 4.2.4.3 Δh[i]=Z* O1 [i](1- O1 [i]) ； 4.2.5 修改输出层权矩阵：for k=1 to H i=1 to m 4.2.5.1 W[k,i]= W[k,i]+ α*O1[k]*?o[i]； 4.2.5 修改隐藏层权矩阵：for k=1 to n i=1 to H 4.2.5.1 V[k,i]= V[k,i]+ α*X[k]* ?h[i]； * * 建议 隐藏层的神经元的个数H作为一个输入参数 同时将ε、循环最大次数M等，作为算法的输入参数 在调试阶段，最外层循环内，加一层控制，以探测网络是否陷入了局部极小点 * * 4.5 算法的理论基础 基本假设 网络含有L层 联接矩阵： W(1) ，W(2) ，…，W(L) 第k层的神经元：Hk个 自变量数： n*H1+H1*H2+H2*H3+…+HL*m 样本集： S={ (X1,Y1),(X2,Y2),…,(Xs,Ys)} 误差测度: * * 用E代表EP，用（X，Y）代表（XP，YP） X=(x1，x2，…，xn) Y=(y1，y2，…，ym) 该样本对应的实际输出为 O=（o1，o2，…，om） 误差测度 * * 误差测度 用理想输出与实际输出的方差作为相应的误差测度 * * 最速下降法，要求E的极小点 wij E 0，此时Δwij0 取 E 0, 此时Δwij0 wij * * 而其中的 所以， 最速下降法，要求E的极小点 * * 令 所以Δwij=αδjoi α为学习率 最速下降法，要求E的极小点 * * ANj为输出层神经元 oj=f(netj) 容易得到 从而 * * ANj为输出层神经元 * * 所以， 故，当ANj为输出层的神经元时，它对