4无约束优化方法.pptVIP

* * * * 第四章 无约束优化方法 * 4.1 概 述 尽管工程实际中的问题几乎都是约束优化问题，但无约束优化方法仍是优化方法中最基本的组成部份，因为解约束问题的一些有效方法就是将约束问题转化为无约束问题求解。何况还有很多问题本身就是无约束问题，人们对无约束优化方法研究也比较成熟。 解无约束优化问题的一类方法是需利用函数的一阶或二阶导数，它们要充分利用函数的解析式子故称为解析法(间接法)。另一类方法在迭代过程中只需计算函数值，故称直接法。相对直接法而言解析法又称间接法。因为解析法充分利用了函数的解析性质，所以它们的收敛速度多数比直接法快，但可靠性一般较低。 * 4.2 最速下降法 (Gradient Method) 一.基本思想 梯度方向是函数值变化率最大的方向：沿着梯度方向函数值 上升最快;沿负梯度方向函数值下降最快。用负梯度方向作为搜 索的方向，即: 或用单位负梯度矢量来表示 这种方法是用函数变化率最大的方向作为搜索方向，又称最 速下降法。 二、迭代公式 * 或 式中，步长λk可以任选，只要保证f(X(k+1)) f(X(k))。通常 是沿负梯度方向进行一维搜索，找出其最优点作为下一步的迭 代点。即： 三、迭代过程及程序框图 四、练习 用梯度法求解f(X)=x12+2x22的极小点 设初始点X(0)=[4,4]T 要求迭代一次,并验证相邻两次迭代的搜索方向互相垂直。 * 五、梯度法讨论 优点：程序简单，每次迭代所需的计算量小，贮存量也少； 对初始点要求不高，即使从一个不太好的初始点出发，往往也 能收敛到局部极小点。 缺点：收敛的速度慢。 原因：最速下降是函数值 在某一点的变化率而言，是 一个局部的性质，从全局来 看并不是最速下降方向。 因此梯度法的搜索路线呈直 角锯齿形状，所得到的搜索点为绕道逼近最优点的，除非目标 函数是圆。 s * 4.3 牛顿类法 (Newton’s Method) 一.迭代公式及特点 1.迭代公式 f(X)在迭代点X (k)具有一阶、二阶的连续偏导数，则可将其 展开成Taylor级数，并略去高于二次的项，得到： 二次函数φ (X)的极值点 如果将X作为一个逼近点X(k+1),牛顿法的一般迭代公式 式中 如果f(X)是正定二次函数，则H(X)是个常数矩阵，逼近式 X (k)=X*是准确的，由X (k)出发只要迭代一次可得到极小点。 * 2.特点 (1).收敛的速度快，即使到了 最优点邻域时也很快收敛于函数 的局部最优点。 (2).采用定步长迭代，因而 就不能保证每次迭代中目标函 数是下降的。 原因：φ (X)仅为目标函数 f(X)在X (k)点附近的近似表达 式。 X(k+1)点是φ (X)在牛顿方 向上的极小点，而非原函数的 极小点。 解决办法：阻尼牛顿法。 1 2 3 4 5 0 1 2 3 -1 -2 F C D A B E * 二.阻尼牛顿法 1.迭代公式 沿牛顿方向-[H(X(k))]-1f(X(k))作一维搜索,迭代公式： 其中λ k使 在f(X)的Hessian矩阵H (X (k))处处正定的情况下，阻尼牛顿 法能保证每次迭代函数值有所下降。即保持了牛顿法收敛快的 特性，又不要求初始点选得很好。 2.程序框图 三、有关牛顿法的讨论 1.不能保证每次迭代函数值都下降。 原因：Hessian矩阵不定。 * 2.若Hessian矩阵奇异,其逆阵不存在,就不能构成牛顿方 向，迭代无法进行。 3.构造牛顿方向较困难。 是否能找到另一种更好的方法？ a.能像梯度法那样，只需计算目标函数的一阶导数，对初始 点的要求不高，能较好的突破函数的非二次性而迅速趋近于极 值点； b.同时又像牛顿法那样，一但迭代点进入极值点的邻近区域 时很快地收敛于最优点。 * 4.4 坐标轮换法 (Cyclic Coordinate Method) 一.基本思想 降维的思想，将一个n维问题转化为一系列的一维优化问题 来求解。每次将n-1个变量固定，只对一个变量作一维搜索。 进行一维搜索找到X1(1) 进行一维搜索找到X2(1) 进行一维搜索找到Xn(1) 到此完成一轮迭代，X的上角标表示迭代的轮次，下角标表 示坐标轴的序号。每次都是以前一次搜索的终点作本次一维搜 索的起点，一轮迭代完后又重头开始直