第二章 网络训练优化算法 智能系统课件.pptVIP

第二章 网络训练优化算法 网络权值的修正过程实际上就是其优化过程 权值修正公式的统一表达形式： 可以从优化算法方面重新考虑和研究网络权值的修正公式 2.1 基于标准梯度下降的方法 2.2 基于数值优化方法的网络训练算法 2.3 数值实例对比 2.1 基于标准梯度下降的方法 改进的算法都是在标准的梯度下降法的基础上发展而来的 改进的算法均只用到目标函数对权值和偏差的一阶导数（梯度）信息 标准梯度下降法权值和偏置值修正的迭代过程可以表示为： 2.1.1 附加动量法 附加动量的BP算法的权值修正的迭代过程可以表示为： 2.1.2 自适应学习速率 2.1.3 弹性BP算法 2.2 基于数值优化方法的网络训练算法 2.2.1 拟牛顿法 牛顿法是一种常见的快速优化方法，它利用了一阶和二阶导数信息，其基本形式是： 第一次迭代的搜索方向确定为负梯度方向，即搜索方向，以后各次迭代的搜索方向由下式确定 2.2.2 共轭梯度法 2.2.3 Levenberg-Marquardt法 2.3 数值实例对比 2.3.1 非线性函数的逼近 构造非线性函数对象 非线性函数的逼近的网络创建为 2.3.2 逼近非线性直流电机的输入/输出特性 假设电机模型为一阶系统，即输入/输出关系式可以表示为 习 题 〖4.2〗根据所学过的BP网络设计及改进方案设计实现模糊控制规则为T = int((e+ec)/2)的模糊神经网络控制器，其中输入变量e和输出变量ec的变化范围分别是：e = {-2, 2}，ec = {-2, 2}。网络设计的目标误差为。设计要求为： ①输入、输出矢量及问题的阐述； ②给出网络结构 ③学习方法（包括所采用的改进方法）； ④初始化及必要的参数选取； ⑤最后的结果，循环次数，训练时间，其中着重讨论： a)不同隐含层S1时的收敛速度与误差精度的对比分析， b)当S1设置为较好的情况下，在训练过程中取始终不变的学习速率lr值时，对lr值为不同值时的训练时间，包括稳定性进行观察比较， c)当采用自适应值学习速率时，与单一固定的学习速率lr中最好的情况进行对比训练的观察， d)给出结论或体会。 ⑥验证，采用插值法选取多于训练时的输入，对所设计的网络进行验证，给出验证的A与T值。 * 表示目标函数的梯度 其中k为训练次数，mc为动量因子，一般取0.95左右。 训练程序中对采用动量法的判断条件为： 其中，SSE为网络的输出误差平方和。 【例2.1】采用附加动量法的反向传播网络的训练。 用一层网络来实现下面的输入/输出关系： P = [ -6 -6.1 -4.1 -4 4 4.1 6 6.1 ], T = [ 0.0 0.0 0.97 0.99 0.01 0.03 1 1 ], 网络误差曲线图 mc = 0时的训练结果 训练误差记录 采用附加动量法的训练结果 采用动量法时的训练误差记录 自适应学习速率的调整公式： SEE为网络输出误差和，初始学习速率 的选取范围可以有很大的随意性。 权值修正的迭代过程可表示如下： 其中， 为前一次的“更新值”，其初始值 要根据实际应用预先设定。 即 其中， 为海森（Hessian）矩阵（二阶导数矩阵）。 1) BFGS拟牛顿法 除了第一次迭代外，BFGS拟牛顿法在每一次迭代中采用下式来逼近海森矩阵 其中， 2) 正割拟牛顿法 正割拟牛顿法不需要存储完整的海森矩阵，除了第一次迭代外，以后各次迭代的搜索方向由下式确定 其中 第一次迭代的搜索方向确定为负梯度方向，即搜索方向，以后各次迭代的搜索方向由下式确定 根据 所取形式的不同，可构成不同的共轭梯度法。 或 其中 Levenberg-Marquardt法的搜索方向定为： 令 ，则 起始时， 取一个很大的数（如 步长很小的梯度下降法；随着最优点的接近， 零，则 从负梯度方向转向牛顿法的方向。 ），此时相当于 减小到 训练用输入信号取为 图2.1 输入/输出关系曲线图 表2.1 三种算法收敛速度的比较 0446.38 标准梯度下降法（标准BP算法） traingd 0457.75 附加动量的BP算法，动量因子mc=0.9 traingdm 0.000265963 448.30 变学习