神经网络配套pptChpres.pptVIP

BP算法的缺点 算法的收敛速度很慢 可能有多个局部极小点 BP网络的隐层神经元个数的选取尚无理论上的指导，而是根据经验选取 BP网络是一个前向网络，具有非线性映射能力，但较之非线性动力学系统，功能上有其局限性 BP算法的变形 启发式改进 动量 可变的学习速度 标准的数值优化 共轭梯度 牛顿法 (Levenberg-Marquardt) 性能曲面例子 性能曲面例子（续） 性能曲面例子（续） 性能曲面例子（续） 性能曲面例子的提示 收敛性例子 学习速度太大情形 提高收敛速度 动量方法 动量反向传播算法 可变的学习速度(VLBP) 例子 启发式方法的缺点 要设置一些额外的参数 算法的性能对这些参数的改变十分敏感 参数的选择是与问题相关的 对某些用最速下降反传算法能找到解的问题却不能收敛。算法越复杂这样问题越容易发生 共轭梯度 区间定位 区间缩小 黄金分割搜索 共扼梯度反向传播法(CGBP) Newton方法 矩阵形式 Hessian矩阵 Gauss-Newton方法 Levenberg-Marquardt(LM)算法 mk 的调整 应用到多层网络 Jacobian矩阵 计算Jacobian矩阵 Marquardt 敏感度 敏感度计算 LMBP算法 LMBP计算步骤例 LMBP 轨迹 S ? m S ? 1 m S ? 2 m ? S ? Q m = 反向传播 初始化 1. 将所有输入提交网络并计算相应的网络输出和误差。计算所有输入的误差平方和F(x). 2. 计算Jacobian矩阵。初始化敏感度，用反向传播算法递归计算各层的敏感度。将各个单独的矩阵增广到 Marquardt 敏感度中。计算 Jacobian 矩阵的元素。 3. 求得权的改变量　　。 4. 用　　　　重复计算误差平方的和。如果新的和小于第1步中计算的和，则用 mk 除以 ? ，并设　　　　　　 ，转第1步；如果和没有减少，则用 mk 乘以 ?，转第3步。 　当梯度的模小于给定的值，或误差平方和减少到某个目标误差时，算法被认为收敛。 w11,1 w21,1 12 * 反向传播算法的变形 网络结构 指定的函数 参数值 多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者的均方误差只有一个极小点，且具有常数曲率；前者的均方误差可能有多个局部极小点而且在参数空间不同区域曲率也是变化的。 w11,1 w21,1 w11,1 w21,1 w11,1和w21,1变化时的平方误差 w11,1 b11 b11 w11,1 w11,1 and b11变化时的平方误差 b11 b21 b21 b11 b11和b12变化时的平方误差 　?算法初始参数不要设置为０(参数空间的原点趋 向于鞍点) 　?算法初始参数不要设置过大(在远离优化点的位 置，性能曲面将变得十分平坦) w11,1 w21,1 w11,1 w21,1 ?改变学习速度 　　在曲面平坦时增加学习速度，在斜速率增加时减 　　少学习速度。 ?平滑轨迹： 　　当算法开始振荡时，平滑掉振荡以产生一个稳定 　　的轨迹。 滤波器 例子 最速下降反传算法 (SDBP) 动量反传算法 (MOBP) w11,1 w21,1 如果误差平方(在整个训练集上)在权值更新后增加了百分数z(典型值为1%至5%), 则取消权值更新, 学习速度乘上一个因子 (1 r 0), 并且动量系数g置为0. 如果误差平方在权值更新后减少, 则接受权值更新, 并且学习速度乘上一个因子h1.如果动量系数g先前被置为0 ,则恢复到先前的值. 如果误差平方的增加少于z, 则接受权值更新, 但是学习速度和动量系数不变. w11,1 w21,1 平方误差 学习速度 1. 初始搜索方向为梯度的反方向(最速下降)。 2. 迭代一次，学习速度的选取采用沿搜索方向最小化性能函数。 3. 选择下一次的搜索方向： 其中 或 或 因为通常性能指数不是二次的，以下二个方面需要改进： 1. 需要一个一般的过程去确定函数在某个特定方向的极值； 2. 算法在共扼方向迭代过 n 次后，可能要重新设置搜索方向。 4. 如果算法不收敛，继续第２步。 t=0.618 Set c1 = a1 + (1-t)(b1-a1), Fc=F(c1) d1 = b1 - (1-t)(b1-a1), Fd=F(d1) For k=1,2, ... repeat If Fc Fd then Set ak+1 = ak ; bk+1 = dk ; dk+1 = ck c k+1 = a k+1 + (1-t)(b k+1 -a k+1 ) Fd= Fc; Fc=F(c k+1 ) else Set ak+1 = ck