工程优化2.pptVIP

设 f (x)存在连续二阶偏导数，函数的 Hesse矩阵 正定。 且水平集 有界，则阻尼Newton法或者在 有限步迭代后终止；或者得到的无穷点列 有如下性质 (1) 为严格单调下降序列； (2) 有唯一聚点 ，它是 f (x)的最小点。 Newton法的改进----阻尼Newton法 特点：可改善局部收敛性；当dk为函数上升方向时，可向其负 方向搜索，但可能出现±dk 均非下降方向的情况。 收敛性定理： 例：用阻尼牛顿法求解下列无约束优化问题，已知 解 故 计算 令 得 此即为问题的最优点 一步即达到最优解 Newton法的进一步修正 阻尼Newton法改进了Newton法，但还是存在缺点: (2) 每次迭代都要计算Hesse矩阵，计算量大； (3) 可能不存在，即使存在，也未必正定，因而牛 顿方向不一定是下降方向。 为此人们对牛顿法提出了多种方式的修改。 为减小工作量，取m（正整数），使每m次迭代使用同一 个Hesse阵，迭代公式变为： Newton法的改进---针对缺点(2)每次计算Hesse矩阵 特点：收敛速度随m的增大而下降 m=1时即Newton法， m→∞ 即线性收敛。 (2) Goldstein-Price方法(G-P法)： 取 采用下列非精确一维搜索（Armijo- Goldstein准则）： 求 ，使 Newton法的改进---针对缺点(3)非正定和奇异的情况 其中 特点：在一定条件下， G-P法全局收敛。 但当 非正定情况较多时，收敛速度降为接近线性。 (3) Levenberg-Marguardt法（L-M法）： 主要思想： 找到尽可能小的 使 正定。 用 取代 进行迭代，其中I 为单位矩阵。 特点：全局二阶次收敛。 Newton法的改进---针对缺点(3)非正定的情况 作业： P 99 4.1--4.5 最速下降法，计算步骤简单，但收敛速度慢。 共轭方向法计算效果好，应用广泛； 共轭方向法和共轭梯度法 这就是要讨论的共轭方向法和共轭梯度法。 Newton法和阻尼Newton法都有一个优点：收敛速度快，但 需要计算Hesse矩阵和Hesse矩阵的逆矩阵，计算量和存储量都 很大。 需要寻找一种好的算法，这种算法能够兼有这两种方法的 优点，又能克服它们的缺点，即收敛速度快同时计算简单。 函数的系数矩阵有关的共轭方向。 共轭梯度法是最著名的共轭方向法， 其搜索方向是与正定二次 设 是对称正定矩阵， 如果 则称向 量p 和q是A共轭的(或称为A正交)。 如果对有限个向量 ，有 共轭方向法---共轭方向及其性质 若 则p与q是正交的。 定义1 定义2 则称这个向量组是A-共轭 (或A正交)向量组，也称它们是一组A共轭方向。 共轭是正交的推广 共轭向量组是正交向量组的推广。 假设f(x)是n元正定二次函数 对二维情况（n=2） 任选取初始点 x0 沿某个下降方向 d 0 作精确一维搜索，得 共轭方向法---共轭方向及其性质 如果按最速下降法，选取 如果希望下次迭代就得到最优解， α0d0 x 0 x1 x* 1 1 α1d1 d1 由精确一维搜索的性质，可知 共轭方向法---共轭方向及其性质 则将发生锯齿现象 。 共轭方向法---共轭方向及其性质 如果能够选定这样的搜索方向，那么对于二元二次函数只需依 次沿搜索方向d 0, d 1两进行次精确一维搜索就可以求到极小点x* ，即 x*是f(x)的极小点，故x*是f(x)的驻点， 将等式两边同时左乘 得： 2次迭代要得到二元二次函数的极小点，d1必须满足的条件是： 搜索方向d0和d1是