第三课 性能优化 人工神经网络理论及应用课件.ppt

人工神经网络理论及应用 屈桢深 哈尔滨工业大学 思路 待解决问题： 权值w取何值，指标函数J(w)最小？ 恰恰是最优化方法中的基本问题：函数最小化。 进一步，我们希望建立迭代形式，并且形式尽量简单，类似基本BP算法(最速梯度法): 如何选取 构成本课的内容 优化基本思想 考虑函数f(x), 在某点x*上进行Taylor展开， 考虑泛函f(x),在某点x*展开，类似的，有 或形象化记法： 方向导数 一阶方向导数： 二阶方向导数： 极小点 全局极小点 局部极小点 轮廓线图 鞍点：沿某方向是极大值点，沿另一方向是极小值。 演示 极小点条件 一阶条件：必要条件 二阶条件：充分条件 H半正定 二次函数 简单，具有普遍性，拟合较精确 一般形式： A对称 在最大特征值对应特征向量方向曲率最大 一些例子 演示 学习速率优化——线性搜索法 基本思想：选择学习速率，使 最小 即 优化学习速率后，每一步搜索方向均与前一步正交 共轭梯度法 基本思想：构造正交方向，使步数最少 几种方法： Fletcher Reeves Hestenes Steifel Polak Ribiere 共轭梯度法——计算步骤 (