性能曲线和最优点.docVIP

神经网络设计 （美） Martin T. Hagan Howard B. Demuth Mark H. Beale 著 戴葵等译 第八章 性能曲面和最优点 性能指数：衡量网络性能的定量标准。性能指数在网络性能良好的时候，是很小的，反之则很大。在这里我们假设性能指数是已知的，以后讨论性能指数的选择方法。 优化过程的第二步是搜索减小性能指数的参数空间（调整网络权值和偏置值）。 1.泰勒级数 用函数F(x)表示要最小化的性能指数，其中x是要调整的参数。假设F(x)的各级导数均存在。那么F(x)可表示成灾某些指定点x*伤的泰勒级数展开。 通过泰勒级数展开项的数量，可以用泰勒级数近似估计性能指数，例如设 2.向量的情况 神经网络的性能参数并不是一个纯量x的函数，它是所有网络参数（各个权值和偏置值）的函数，参数的数量可能是很大的。因此要将泰勒级数展开形式扩展为多变量形式。 这个函数在x*的泰勒级数展开为 这个表达式有些复杂，可以写成矩阵形式 这里为梯度，定义为 为赫森矩阵，其定义为： 3.方向导数 梯度的第i个元素，是性能指数F在轴的一阶导数，赫森矩阵的第i个对角元素是性能指数F沿轴的二阶导数。这就要求我们能够求出函数在任意方向上的一阶、二阶导数。 设为沿所求导数方向上的 一个向量，此方向导数可由下式求出： 沿的二阶导数也可以写成 我们观察上面的两个式子会发现，分子部分是方向向量与梯度的内积，所以，最大斜率出现在方向向量和梯度同向时。 4.极小点 强极小点 如果存在某个纯量，使得当时，对所有都有成立，这个点称为的强极小点。 换句话说，从一个强极小点出发，沿任意方向移动任何一个小的距离都将使增大。 全局最小点 如果点使得对所有的都成立，则称该点为全局最小点。 对于一个强极小点，在较小的邻域之外可能会存在比更小的点，故又称局部最小点。对于一个全局最小点，在参数空间内任何其他点的值都比大。 弱极小点 一个弱极小点，无论向任何方向移动，函数值都不会减小，但可能沿某些方向的值不变。 5.优化的必要条件 定义了最优点后，必须给出这种点需要满足的条件。 此处 （1）一阶条件 要使为极小点，则要使函数在时增大或不减小。这就要求 但是，如果这一项为正，即 ， 则推导出： 这是自相矛盾的。所以，只有唯一选择 所以一个极小点处的梯度一定为零，这就是局部极小点的一节必要条件。这个点称之为驻点。 （2）二阶条件 函数在驻点处的梯度为0，由泰勒级数的展开式可得： 要使上式对于任意的成立，赫森矩阵必须为正定矩阵。 正定矩阵定义为：对于任意的向量有 如果对于任意向量，有 则称为半正定矩阵。 如果所有特征值为正，则矩阵为正定矩阵，如果所有特征值不为负，则矩阵为半正定矩阵。