[数学]BP神经网络.pptVIP

基本假设 网络含有L层 联接矩阵： W(1) ，W(2) ，…，W(L) 第k层的神经元：Hk个 自变量数： n*H1+H1*H2+H2*H3+…+HL*m 样本集： S={ (X1,Y1),(X2,Y2),…,(Xs,Ys)} 误差测度: * * 用E代表EP，用（X，Y）代表（XP，YP） X=(x1，x2， ，xn) Y=(y1，y2， ，ym) 该样本对应的实际输出为 O=（o1，o2， ，om） * * 误差测度 用理想输出与实际输出的方差作为相应的误差测度 * * * * wij E 0，此时Δwij0 取 E 0, 此时Δwij0 wij * * 而其中的 所以， * * 令 所以Δwij=αδjoi α为学习率 oj=f(netj) 容易得到 * * 从而 * * * * 所以， 故，当ANj为输出层的神经元时，它对应的联接权wij应该按照下列公式进行调整： * * 函数 * * netk= oj … o2 o1 oHh netk是 oj下一级的神经元的网络输入 * * * * * * 收敛速度问题 局部极小点问题 逃离/避开局部极小点：修改W、V的初值并不是总有效。 逃离 统计方法；[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。 * * 网络瘫痪问题 在训