神经网络_配套_Ch_pres-公开课件.pptVIP

基本的优化算法 最速下降法 例子 图 稳定的学习速度(二次函数) 例子 沿直线最小化 例子 图 牛顿法 例子 图 非二次函数例子 不同的初始情况 牛顿法的特点 牛顿法是在当前初始点确定原函数F(x)的二次近似的驻点，它并不区别极小点、极大点和鞍点 如果原函数为二次函数（有强极小点），牛顿法能够实现一步极小化 如果原函数不是二次函数，则牛顿法一般不能在一步内收敛，甚至有可能收敛到鞍点和发散（最速下降法能够确保收敛，如果学习速度不太快） 共扼向量 对于二次函数 构造共扼方向 共扼梯度算法 第一次搜索方向是梯度的负方向。 选择学习速度来沿直线最小化。 用下式确定下一个搜索方向： 如果算法不收敛，回到第二步。 一个有 n 个参数的二次函数将在 n 步内被极小化。 例子 例子 图 9 * 性能优化 pk – 搜索方向 ak – 学习速度 or 优化的目标是求出使性能指数Ｆ(x)最小化的x的值。 这里讨论迭代算法，设初始值为x0，然后按下式迭代： 选择下一次迭代使得性能指数函数减小： 对x小的变化F(x)可近似表示为（在xk的一阶Taylor级数展开）： 这里gk是在xk的梯度： 要使F(xk+1) F(xk)，则Taylor展式的第二项必须为负，即： 满足上式的任意向量称为一个下降方向。最速下降方向在哪里？ 当方向向量与梯度反向时，该内积为负，而绝对值最大(设长度 不变，只改变方向)。所以最速下降方向的向量为： 稳定性由这个矩 阵的特征值决定. 即(1 – αli)是[I - aA]的特征值。所以最速下降法稳定条件为： 若二次函数有一个强极小点，则其特征值为正，上式可化为： 如果矩阵[I - aA]的特征值小于1，则该系统就是稳定的。设li是A的特征值， zi是A的特征向量。那么 选择 ak 最小化 其中 对二次函数，令该导数为0，可得 ak 的解析表示： 后继每一步都正交. F x ( ) ? T x x k 1 + = p k g k 1 + T p k = = 求这个二阶近似式的梯度并设它为零来得到驻点： 驻点: F(x) F2(x) F(x) F2(x) 对于一个正定的Hessian矩阵A, 称向量集合 　　　　是两两共扼的如果下式成立: 矩阵A的特征向量组成一个共扼向量集合. (对称矩阵的特征向量是正交的.) 已经证明，如果存在沿一个共扼方向集　　　　　　的准确线性搜索序列，就能在最多n次搜索内实现具有n个参数的二次函数的准确最小化。问题是如何构造这些共扼搜索方向而毋须先求Hessian矩阵？即找到一种不需要计算二阶导数的方法。 在第k +1次迭代梯度的变化是 其中 共扼条件可重写成： 这不需要Hessian矩阵了。 选择初始的搜索方向为梯度的反方向。 构造后继的搜索方向为共扼方向，即使后继向量 pk 与 {Δg0, Δg1, …, Δgk-1}正交。类似Gram-Schmidt正交化过程（第五章介绍），可有如下简化的迭代式： 其中 or or (用于二次函数) 共扼梯度 最速下降 9 *