第二篇 章 网络训练优化算法 智能系统课件.pptVIP

第二章 网络训练优化算法 网络权值的修正过程实际上就是其优化过程 权值修正公式的统一表达形式： 可以从优化算法方面重新考虑和研究网络权值的修正公式 2.1 基于标准梯度下降的方法 2.2 基于数值优化方法的网络训练算法 2.3 数值实例对比 2.1 基于标准梯度下降的方法 改进的算法都是在标准的梯度下降法的基础上发展而来的 改进的算法均只用到目标函数对权值和偏差的一阶导数（梯度）信息 标准梯度下降法权值和偏置值修正的迭代过程可以表示为： 表示目标函数的梯度 训练误差记录 采用附加动量法的训练结果 采用动量法时的训练误差记录 自适应学习速率的调整公式： SEE为网络输出误差和，初始学习速率 的选取范围可以有很大的随意性。 2.1.2 自适应学习速率 权值修正的迭代过程可表示如下： 其中， 为前一次的“更新值”，其初始值 要根据实际应用预先设定。 2.1.3 弹性BP算法 2.2 基于数值优化方法的网络训练算法 2.2.1 拟牛顿法 牛顿法是一种常见的快速优化方法，它利用了一阶和二阶导数信息，其基本形式是： 第一次迭代的搜索方向确定为负梯度方向，即搜索方向，以后各次迭代的搜索方向由下式确定 即 其中， 为海森（Hessian）矩阵（二阶导数矩阵）。 1) BFGS拟牛顿法 除了第一次迭代外，BFGS拟牛顿法在每一次迭代中采用下式来逼近海森矩阵 其中， 2) 正割拟牛顿法 正割拟牛顿法不需要存储完整的海森矩阵，除了第一次迭代外，以后各次迭代的搜索方向由下式确定 其中 第一次迭代的搜索方向确定为负梯度方向，即搜索方向，以后各次迭代的搜索方向由下式确定 根据 所取形式的不同，可构成不同的共轭梯度法。 或 其中 2.2.2 共轭梯度法 Levenberg-Marquardt法的搜索方向定为： 令 ，则 起始时， 取一个很大的数（如 步长很小的梯度下降法；随着最优点的接近， 零，则 从负梯度方向转向牛顿法的方向。 ），此时相当于 减小到 2.2.3 Levenberg-Marquardt法 2.3 数值实例对比 2.3.1 非线性函数的逼近 构造非线性函数对象 训练用输入信号取为