工程优化4-2.pptVIP

下面看一下理论推导： 用于二次函数时的收敛性分析 Newton法的二次终止性 取 d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) ， ▽2f(x(k)) 正定 - ▽f(x(k)) ，否则 采用下列不精确一维搜索：求λk , 满足Goldstein准则 1° f(x(k)+λkd(k)) ≤ f(x(k))+ δλk▽f(x(k)) Td(k) 2° f(x(k)+λkd(k)) ≥f(x(k))+ (1-δ) λk ▽f(x(k)) Td(k) 其中δ ∈(0,1／2) 引理4.4 设f(x)=1/2xTAx+bTx+c，AT=A0，给定方向p1，在与p1平行的两条直线上（如图），f(x)的最小点为x1，x2，则 p1TAp2=0, （p2=x2-x1） 算法的收敛性分析: 7. 利用非精确一维搜索方法 （1）得到的方法有可能不是下降方法，当不是下降方向的时候，用最速下降方向重新开始。但是这样的重新开始可能使大量的，因此会降低计算效率。 （2）利用一个下降的原则去控制。 另一方面，若取 时 方向导数达到下界 ，故 是对于椭球范数 下的最速下降方向。 6、牛顿算法实际上是非线性方程组的牛顿迭代法。 等价于求解非线性方程组 设 是当前迭代点，若 ，则 是方程组的解，否则将 在 处线性化，得 将上述线性方程组的解作为 的近似解，得 故有 这恰好就是牛顿迭代公式。 由于求解 若 由以上分析可知，固定的步长因子不能保证目标函数有合理的改善，甚至不能保证算法下降，因此有必要对牛顿算法作一些改进，一个最直接的改进是：在牛顿算法中加入一维搜索。 （二）修正(阻尼)Newton法 ? 怎样才能使Newton法成为一个下降算法 ？ 修正Newton迭代公式： x(k+1) = x(k)－ tk H(x(k))－1?f (x(k)) 沿Newton方向一维搜索得到的最优步长 保证了 f(x(k+1)) ≤f(x(k)) ， 且不必要求H(x)为正定矩阵。 ? 出现 (1) H(x(k)) －1不存在；或(2) tk =0 时怎么办 ？ 改用最速下降法 ，即 p(k) =－ ?f (x(k)) 修正Newton法与基本Newton法的优点是： 缺点是要求计算Hesse矩阵及其逆矩阵，计算量大，尤其当维数n较大时。 收敛快，程序简单。前者更实用可靠。 证明：见文中定理4.3的证明 （三）Newton法的收敛性 定理4.4 设 f (x)存在连续二阶偏导数，函数的Hessian矩阵 正定。且水平集 有界，则牛顿法或者 在有限步迭代后终止；或者得到的无穷点列 有如下性质 1） 为严格单调下降序列； 2） 有唯一极限点 ，它是 f (x)的最小点。 §4.3 Marquart法 最速下降法的优点：对初始点要求不高，稳定性好；远离最优点时收敛较快。 缺点是离最优点较近时收敛很慢。 牛顿法的优缺点刚好与最速下降法相反。 1963年Marquardt提出将最速下降法与Newton法结合，开始用最速下降法， 在接近最优点时用Newton法。 在迭代公式x(k+1) = x(k) +tk p(k)中，取步长tk＝1 ，搜索方向为 p(k) ＝－[?2f (x(k)) +?kI]－1?f (x(k)) 其中 ?k同时起控制搜索方向和步长的作用，I为单位矩阵 (1) 开始阶段取很大，如?0=104 ， p(0) ＝－[?2f (x(0)) +?0I]－1?f (x(0)) ?－ ?f (x(0)) 1 ?0 (2) 在迭代过程中，让?k?0， p(k) ?－?2f (x(k))－1?f (x(k)) （一）方法思想 最速下降法 Newton法 具体在每一步是否缩小 ?k，要通过检验目标函数值来决定 ： 若f(x(k+1)) f(x(k))，取?k+1 ?k ; 否则，取?k=??k, ?1，重作第k步迭代。 （二）算法 开始 给定x(0) , M，? , 令 k=0， ?0=104 x*=x(k) 是 结束 p(k) =－ [?2f (x(k)) +?kI]－1?f (x(k)) 否 否 kM 是 计算 ?f( x(k ) ) || ?f( x(k ) ) || ? x(k+1) = x(k) +p(k) f(x(k+1)) f(x(k)) ?k+1= 0.5?k , k=k+1 是 否 ?k= 2?k I 可推广为半正定矩阵 若[?2f (x(k)