第一章数值最优化方法建模与数学预备知识.pptVIP

一是下降方向Pk的选取，一是步长因子tk的选取。不同规则对应不同的最优化方案。 算法的进本基本结构是： （1） 选定初始点Z0,令k:=0; （2） 按某种规则选取搜索方向Pk,使 ； （3） 按某种规则选取搜索步长tk使 （4）令Zk+1=Zk+tkpk; （5）判定Zk+1是否满足给定的终止准则，若满足，则打印Zk+1和 ，终止迭代。否则令k:=k+1,转（2）。 当选择好了搜索方向后，选择步长因子的方法有多种。而实际计算中最常用的方法是直线搜索（又称一维搜索），即选取tk使： 二 迭代算法中直线搜索及其性质： 求一元函数极小点的方法称为直线搜索或一维搜索。 这种方法的宏定义：它使目标函数值在搜索方向上下降得最多，其缺点是计算量大。 一维最优化问题是最优化问题的一个重要分支。为方便起见，我们记 表示从点z出发沿方向p对目标函数f(z)作直线搜索所得到的极小点是Z。(linear search).这等价于： 证明：设 因 即 即t0为 的极小点，因而 即 这一性质的几何意义是明显的。 定理：若目标函数具有连续偏导数，且 则 定义1：对收敛于解 的序列 ，若存在一个 三 收敛速度 收敛速度的快慢用收敛的阶来衡量。 从某点z出发沿方向p作直线搜索得极小点Z ’。上面性质表明的梯度方向 与方向p正交，又已证明梯度方向 与目标函数过z的等值面垂直（正交），从而搜索方向p必与这个等值面在点z ‘处相切。 构造一个算法，首先必须要求能够收敛于原问题的解，另一方面还必须要求收敛于原问题解的速度较快，这才是比较理想的 。 与k无关的数 ， 当 (k0为某一整数）时有 则称序列 是线形（或一阶）收敛的。 定义2：对收敛于解z*的序列 ，若存在一个与k无关的 数β0和α1，当 则 的收敛阶为α或α阶收敛。当α=2时称为二阶收敛，当1α2称为超线性收敛。一般说来，线形收敛速度较慢，二阶收敛速度很快，超线形收敛居中。如果一个算法具有超线形以上的收敛速度，则为一个很好的算法。 前面曾提到过“二次收敛”，这与二阶收敛没有必然联系。所谓二次收敛即一个算法有用于具有正定距阵的 二次函数时在有限步可以获得它的极小点。 但二次函数的算法往往具有超线形以上的收敛速度，是一个比较好的算法。 　 §第一章结束§ * * * * * * * * * * * * * * * * * * * * * * * =6＞0， =3＞0， =10＞0 因此知矩阵Q是正定的。 定理： 若二次函数 中Q正定，则它的等值面是同心椭球面族，且中心为 = 证明：作变换Z=Y ，代入二次函数式中： 根据解析几何知识，Q为正定矩阵的二次型 的等值面是以坐标原点 =0为中心的同心椭球面族。由于上式中的 另外，这族椭球面的中心 = 恰是二次目标函数的唯一极小点。 前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭球面族。由此可见对于二次目标函数有效的求极小点的算法，当用于一般目标函数时，至少在极小点附近同样有效。因此在最优化理论中判定一个算法好坏的标准之一，是把该算法用于Q为正定的二次目标函数，如能迅速找到极小点，就是好算法；否则就不是太好的算法。 是常数，所以 的等值面也是以 =0为中心的同心椭球面族，回到原坐标系中去，原二次函数就是以 = 为中心的同心椭球面族。 特别地若算法对于Q为正定的二次目标函数能在有限步内找出极小点来，就称此算法为二次收敛算法，或具有二次收敛性。 例：把二次函数 化为矩阵向量形式并检验Q是否正定，如正定，试用公式 =