神经网络配套pptCh12pres.pptxVIP

神经网络配套pptCh12pres第1页/共35页 BP算法的变形启发式改进动量可变的学习速度标准的数值优化共轭梯度牛顿法 (Levenberg-Marquardt)第2页/共35页 性能曲面例子网络结构指定的函数参数值多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者的均方误差只有一个极小点，且具有常数曲率；前者的均方误差可能有多个局部极小点而且在参数空间不同区域曲率也是变化的。第3页/共35页 性能曲面例子（续）w11,1w21,1w11,1w21,1w11,1和w21,1变化时的平方误差第4页/共35页 性能曲面例子（续） w11,1b11b11w11,1w11,1 and b11变化时的平方误差 第5页/共35页 性能曲面例子（续） b11b21b21b11b11和b12变化时的平方误差第6页/共35页 性能曲面例子的提示 　?算法初始参数不要设置为０(参数空间的原点趋 向于鞍点)　?算法初始参数不要设置过大(在远离优化点的位 置，性能曲面将变得十分平坦)第7页/共35页 收敛性例子w11,1w21,1第8页/共35页 学习速度太大情形w11,1w21,1第9页/共35页 提高收敛速度?改变学习速度　　在曲面平坦时增加学习速度，在斜速率增加时减　　少学习速度。?平滑轨迹：　　当算法开始振荡时，平滑掉振荡以产生一个稳定　　的轨迹。第10页/共35页 动量方法滤波器例子第11页/共35页 动量反向传播算法最速下降反传算法(SDBP)动量反传算法(MOBP)w11,1w21,1第12页/共35页 可变的学习速度(VLBP)如果误差平方(在整个训练集上)在权值更新后增加了百分数z(典型值为1%至5%), 则取消权值更新, 学习速度乘上一个因子 (1 r 0), 并且动量系数g置为0. 如果误差平方在权值更新后减少, 则接受权值更新, 并且学习速度乘上一个因子h1.如果动量系数g先前被置为0 ,则恢复到先前的值.如果误差平方的增加少于z, 则接受权值更新, 但是学习速度和动量系数不变.第13页/共35页 例子w11,1w21,1平方误差学习速度第14页/共35页 启发式方法的缺点要设置一些额外的参数算法的性能对这些参数的改变十分敏感参数的选择是与问题相关的对某些用最速下降反传算法能找到解的问题却不能收敛。算法越复杂这样问题越容易发生第15页/共35页 共轭梯度1. 初始搜索方向为梯度的反方向(最速下降)。2. 迭代一次，学习速度的选取采用沿搜索方向最小化性能函数。3. 选择下一次的搜索方向：其中或或因为通常性能指数不是二次的，以下二个方面需要改进： 1. 需要一个一般的过程去确定函数在某个特定方向的极值； 2. 算法在共扼方向迭代过 n 次后，可能要重新设置搜索方向。4. 如果算法不收敛，继续第２步。第16页/共35页 区间定位第17页/共35页 区间缩小第18页/共35页 黄金分割搜索t=0.618Set c1 = a1 + (1-t)(b1-a1), Fc=F(c1) d1 = b1 - (1-t)(b1-a1), Fd=F(d1)For k=1,2, ... repeat If Fc Fd then Set ak+1 = ak ; bk+1 = dk ; dk+1 = ck c k+1 = a k+1 + (1-t)(b k+1 -a k+1 ) Fd= Fc; Fc=F(c k+1 ) else Set ak+1 = ck ; bk+1 = bk ; ck+1 = dk d k+1 = b k+1 - (1-t)(b k+1 -a k+1 ) Fc= Fd; Fd=F(d k+1 ) endend until bk+1 - ak+1 tol第19页/共35页 共扼梯度反向传播法(CGBP)w11,1w21,1w11,1w21,1中间步骤完整轨迹第20页/共35页 Newton方法如果性能指数是函数平方的和:则梯度的第 j 个元素是:第21页/共35页 矩阵形式梯度能写成矩阵形式:其中J是Jacobian矩阵:Jx()v1x()?x1?----------------v1x()?x2?----------------?v1x()?xn?----------------v2x()?x1?----------------v2x()?x2?----------------?v2x()?xn?----------------???vNx()?x1?-----------------vNx()?x2?-----------------?vNx()?xn?-----------------=第22页/共35页 Hessian矩阵第23页/共35页 Ga