求解非线性无约束优化问题的两种方法的分析.pdfVIP

垫墼兰 ￡望叁兰堑圭兰垒篁塞 1 第一章预备知识 §1．1共轭梯度方法 §1．1．1引言 共轭梯度法足最优化中最常用的方法之一。它具有算法简便，存储需求小等优点， 十分适合于大规模优化问题．在石油勘探，大气模拟，航天航空等领域出现的特大规模 的优化问题是常常利用共轭梯度法求解。在所有需要计算导数的优化方法中，最速下降 是最简单的，但它速度太慢。拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最 有效的方法。但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对 于求解诸如上述问题等一些大规模问题几乎是不太可能办到的，共轭梯度法在算法的简 便性，所需存储量等方面均与最速下降法差别不大，而收敛速度比最速下降法要快。非 度法的研究由又热了起来．我国的学者也在共轭梯度法的理论研究中也取得了一定的成 绩。例如中科院应用数学所的韩继业，戴口等． §1．1．2共轭方向法 共轭梯度法最本质的是共轭性质，共轭性是正交的一种推广。 定义1．1．2．1：设W∈咿×n对称正定，dl，d2，…，d。是咿中的一组非零向量，如果 盯Adj=0，(i≠J)． (1．1) 则称d1，d2，…，d。是相互A一共轭。 显然可见，如果dl，d2，…，d。相互A一共轭，则它们是线性无关的。设J是单位阵 则知，一共轭就是正交。一般共轭方向法步骤如下： 算法1．1．2．1：(一般共轭方向法) 给出∞+的初始点Xl， 步l：计算gl=g(X1)． 步2：计算dl，使(f{’9l0． 步3：令女=1． 步4：计算口k和Xk+1，使得 f(xk-F‘1kdk)。I。j11，‰十“呶)， Xk+1=Xk+v。kdk． 步5：计算以+l使得d矗1Gdj=0，J=1，2，…k． 步6：令k：=k+1，转步4． 共轭方向法的一个基本性质是：只要执行精确线性搜索，就能得到二次终止性，这 就足下面的共轭方向法基本定理。 $l+∑：：1 tljdj，Vq)中的极小点。 证明：因为G正定且共轭方向d1，d2，…线性无关，故只要证明对所有i≤n一1，有 2) 9§1dj=0，J=1，…，{， (1 (既沿流行中的任何直线的斜率为零)，就可得出定理中的两个结论．事实上，由于 珊=gk+l一9≈=G(zk+l一￡^)=akGdk 2004年 广西大学硕士学位论文 2 故有当ji时 || 考，+ 由 + ⅣT≈ 由 ≈ ；∑卅 + ＆ dG 3 南 ≈ r女 白 々 。∑卅 再m 知 9‘1吨=0 从而有(1．2)成立。 §1．1．3非线性共轭梯度法与Zoutendijk条件 §非线性共轭梯度法： 考虑无约束优化问题 z∈舻)， (1．4) min{f(x)I 在第＆次迭代，当前迭代点