神经网络配套Ch8_pres(免费阅读).pptVIP

性能学习 Taylor级数展开 例子 三个近似的图形 向量情况 矩阵形式 方向导数 例子 图 极小点 例子 向量例子 一阶优化的必要条件 二阶条件 例子 二次函数 Hessian的特征系统 二阶方向导数 特征向量(最大的特征值) 圆形空洞 椭圆空洞 伸长的鞍形 驻点凹槽 二次函数特点的小结 如果赫森矩阵的所有特征值为正，则函数有一个强极小点。 如果赫森矩阵的所有特征值为负，则函数有一个强极大点。 如果赫森矩阵的所有特征值有正有负，则函数有一个鞍点。 如果赫森矩阵的所有特征值为非负，但某些特征值为零，则函数要么有一个弱极小点，要么没有驻点。 如果赫森矩阵的所有特征值为非正，但某些特征值为零，则函数要么有一个弱极大点，要么没有驻点。 8 * 性能曲面和最优点 性能学习的优化分两步骤进行： 找一个衡量网络性能的定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。 搜索减小性能指数的参数空间(调整网络权值和偏置值)。下面将研究性能曲面的特性，建立确保极小点(即所寻求的最优点)存在的条件。 学习规则的几种类型： 联想学习，竞争学习，性能学习。 性能学习目的在于调整网络参数以优化网络性能。 F x ( ) F x * ( ) x d d F x ( ) x x * = x x * – ( ) + = 1 2 - - - x 2 2 d d F x ( ) x