第三课 性能优化 人工神经网络理论及应用 教学讲义.pptVIP

人工神经网络理论及应用 屈桢深 哈尔滨工业大学 3. 性能优化 思路 待解决问题： 权值w取何值，指标函数J(w)最小？ 恰恰是最优化方法中的基本问题：函数最小化。 进一步，我们希望建立迭代形式，并且形式尽量简单，类似基本BP算法(最速梯度法): 如何选取 构成本课的内容 主要内容 基本概念 泰勒级数 方向导数 极小值条件 二次函数 优化方法 基本思想 最速下降法 沿直线最小化 牛顿法 共轭梯度法 Levenberg-Marquardt算法 优化基本思想 考虑函数f(x), 在某点x*上进行Taylor展开， 考虑泛函f(x),在某点x*展开，类似的，有 或形象化记法： 方向导数 一阶方向导数： 二阶方向导数： 二次函数 简单，具有普遍性，拟合较精确 一般形式： A对称 在最大特征值对应特征向量方向曲率最大 一些例子 演示 学习速率优化——线性搜索法 基本思想：选择学习速率，使 最小 即 优化学习速率后，每一步搜索方向均与前一步正交 共轭梯度法 基本思想：构造正交方向，使步数最少 几种方法： Fletcher Reeves Hestenes Steifel Polak Ribiere 共轭梯度法——计算步骤 (1) 选择-g0为初始搜索方向； (2) 根据指定学习速率计算 ，学习速率使用 前述方法优化； (3) 根据迭代公式确定下一步搜索方向； (4) 如果未达到指定误差，返回(2) 演示 牛顿法 对于二次型，有 为求得 ，f最小，根据 有： 最终得到： 问题：二次导数项(Hessian矩阵)求逆