05无约束优化方法.pptVIP

无约束优化方法1 变尺度法 一：尺度矩阵的概念 变量的尺度变换是放大或缩小各个坐标，通过尺度变换可以把函数的偏心程度降低到最低限度。尺度变换技巧能显著地改善几乎所有极小化方法的收敛性质。如： 求目标函数 的极小点。 若将上例的目标函数 引入变换 若矩阵G是正定的，则总存在矩阵Q，使得： 将函数的偏心降为0 对于一般二次函数 如果进行尺寸变换 则在新的坐标系中，函数 的二次项变为 （单位矩阵） 用 右乘等式两边，得 再用Q左乘等式两边，得 所以 这说明二次函数矩阵G的逆阵，可以通过尺度变换矩阵Q来求得。 牛顿方向便可写成 牛顿迭代公式变为 例子： 变换 则在变换后的坐标系中，矩阵G变为 只需通过一次迭代即可求得极小点 比较牛顿法迭代公式 和梯度法迭代公式 可以看出，差别在于牛顿法中多了 部分。 实际上是在x空间内测量距离大小的一种度量，称作尺度矩阵H 如在未进行尺度变换前，向量x长度的概念是 变换后向量x对于H尺度下的长度 这样的长度定义，在确定“长度”这个纯量大小是，使得某些方向起的作用比较大，另一些方向起的作用比较小。 它和梯度法的公式只差一个H，牛顿法就可以看成是经过尺度变换后的 剃度法。经过尺度变换，使函数的偏心率减小到0，函数的等值面变成球面，使设计空间中任意点处的梯度都通过极小点。（对二次函数）。 为使这种尺度有用，必须对一切非零向量的x均有 ，既然牛顿法迭代公式可用尺度变换矩阵 表示出来，即 变尺度矩阵的建立 对于一般函数f(x)，当用牛顿法寻求极小点时，其牛顿迭代公式为 为了避免在迭代公式中计算海赛矩阵的逆矩阵 ，可以用在迭代中逐步建立的变尺度矩阵 来替换 ，即构造一个矩阵序列 来逼近海赛逆矩阵序列 。 1）为了保证迭代公式具有下降性质，要求Hk中的每个矩阵都是对称正定的 其中 是从 出发，沿方向 搜索而得到的最佳步长。 为了使变尺度矩阵 确实与 近似，并必须附加某些条件： 若要求搜索方向 为下降方向，即要求 也就是 ，即 ，即 应为对称正定。 2）要求 之间的迭代具有简单的形式。显然 为最简单的形式，其中 为校正矩阵。上式称作校正公式。 所谓拟牛顿条件可以推导： 3）要求 必须满足拟牛顿条件。 设迭代过程已经进行了k+1步， ， 均已求出，现在推导 所需要的条件。当f(x)为具有正定矩阵G的二次函数时 因为具有正定海赛矩阵 的一般函数，在极小点附近可用二次函数很好的近似，所以 如果迫使 满足类似于上式的关系 那么 就可以很好地近似于 。 上述关系称拟牛顿条件 根据上述拟牛顿条件，不通过海赛矩阵求逆就可以构造一个矩阵 来逼近海赛矩阵的逆阵 ，这类方法统称作拟牛顿法。由于变尺度矩阵的建立应用了拟牛顿条件，所以变尺度法也是属于一种拟牛顿法。还可以证明，变尺度法对于具有正定矩阵G的二次函数，能产生对G共轭的搜索方向，因此变尺度法又可以看成是一种共轭方向法。 三、变尺度法的一般步骤 对一般多元函数f(x)，用变尺度法求极小点 ，其一般步骤是： 1）选定初始点 和收敛精度 。 2）计算 ，选取初始对称正定矩阵 （例如 ），置 。 3）计算搜索方向 。 4）沿 方向进行一维搜索 ，计算 5）判断是否满足迭代终止准则，若满足则 ，停机。 6）当迭代n次后还没找到极小点时，重置 为单位矩阵I，并以当前设计点为初始点，返回到2进行下一轮迭代，否则转到7。 7）计算矩阵 ，置 返回到3。 对于校正矩阵 ，可由具体的公式来计算，不同的公式对应不同的变尺度法，但不论哪种变尺度法， 必须满足拟牛顿条件 满足上式的 有无穷多个，因