人工神经网络讲稿ch4.pptVIP

第4章 BP网络 主要内容： BP网络的构成 隐藏层权的调整分析 Delta规则理论推导 算法的收敛速度及其改进讨论 BP网络中的几个重要问题 重点：BP算法 难点：Delta规则的理论推导 4.1 概述 1、BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛 3、优点：广泛的适应性和有效性。 4.2 基本BP算法 4.2.1 网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出： 输出函数分析 应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的 网络的拓扑结构 网络的拓扑结构 BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力 BP网一般都选用二级网络 网络的拓扑结构 4.2.2 训练过程概述 样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L)) 4.2.2 训练过程概述 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 （3）网络关于第p个样本的误差测度： 4.2.3 误差传播分析 2、隐藏层权的调整 2、隐藏层权的调整 2、隐藏层权的调整 vhp=vhp+?vhp ?vhp=αδpk-1ohk-2 =αfk-1 ′(netp)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 =αopk-1(1-opk-1)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 4.2.4 基本的BP算法 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 基本思想 ： 逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，…，W(L)各做一次调整，重复这个循环，直到∑Epε。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程 算法4-1 基本BP算法 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 算法4-1 基本BP算法 4.2 对S中的每一个样本（Xp,Yp）： 4.2.1 计算出Xp对应的实际输出Op； 4.2.2 计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整W(L)； 4.2.5 k=L-1； 4.2.6 while k≠0 do 4.2.6.1 根据相应式子调整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 4.3 算法的改进 1、BP网络接受样本的顺序对训练结果有较大影响。它更“偏爱”较后出现的样本 2、给集中的样本安排一个适当的顺序，是非常困难的。 3、样本顺序影响结果的原因：“分别”、“依次” 4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“总效果”修改W(1) ，W(2) ，…，W(L)。 ?w(k)ij=∑?p w(k)ij 算法4-2 消除样本顺序影响的BP算法 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 4.2 对所有的i，j，k：? w (k)ij=0； 4.3 对S中的每一个样本（Xp,Yp）： 4.3.1 计算出Xp对应的实际输出Op； 4.3.2 计算出Ep； 4.3.3 E=E+Ep； 4.3.4 对所有i，j根据相应式子计算?p w (L)ij； 4.3.5 对所有i