本章要点最速下降法的基本思想及特点牛顿方向Newton法3.pptVIP

下面看一下理论推导： 用于二次函数时的收敛性分析 Newton法的二次终止性 取 d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) ， ▽2f(x(k)) 正定 - ▽f(x(k)) ，否则 采用下列不精确一维搜索：求λk , 满足Goldstein准则 1° f(x(k)+λkd(k)) ≤ f(x(k))+ δλk▽f(x(k)) Td(k) 2° f(x(k)+λkd(k)) ≥f(x(k))+ (1-δ) λk ▽f(x(k)) Td(k) 其中δ ∈(0,1／2) 引理4.4 设f(x)=1/2xTAx+bTx+c，AT=A0，给定方向p1，在与p1平行的两条直线上（如图），f(x)的最小点为x1，x2，则 p1TAp2=0, （p2=x2-x1） 算法的收敛性分析: 7. 利用非精确一维搜索方法 （1）得到的方法有可能不是下降方法，当不是下降方向的时候，用最速下降方向重新开始。但是这样的重新开始可能使大量的，因此会降低计算效率。 （2）利用一个下降的原则去控制。 为了利用不包含二阶导数的矩阵Hk+1取代▽2f(x(k))， 共轭梯度法评注 1、共轭梯度法的优点是不必计算Hesse矩阵及其逆矩阵，程序简单，对大规模问题很有吸引力。对凸二次函数最多n步终止，而对一般函数为超线性收敛。 2、收敛速度依赖于一维搜索的精确性及Hesse矩阵的特征值的分布。 对一般函数的共轭梯度法注意问题 把前面的共轭梯度法推广到对于一般函数的共轭梯度法，需要注意的几点: 1. 步长 λk 不能够用前面的公式计算, 用其他的一维搜索方法来确定。 4. 一种方法是直接延续，一直利用我们的方法做下去，即到了n步仍然不停止，直到满足了停止条件。 3. 用这种方法求任意函数的极小点，一般来说，有限步迭代是达不到的。所以需要采取一些策略。 2. 凡用到矩阵A的地方， 需要用现行点处的海赛矩阵▽2f (x(k)) 5. 另一种方法是把n步作为一轮，每搜索一轮后，取一次最速下降方向，开始下一轮。这种策略称为“重新开始”或“重置”。 ——更常用 由于共轭梯度法中各个搜索方向的共轭性依赖于初始方向为负梯度方向，共轭方向只有n个，为了保持共轭方向性，所以每次迭代n步后，重新从一个负梯度方向开始。另外由于每次计算的λk 和βk不精确，所以有积累误差，它影响到算法的收敛性，通常为了避免积累误差，所以重新开始整个算法。 6. 对于一般函数时，前面的几种共轭梯度法计算βk得到的搜索方向是不同的，所以不是等价的。经验证对于二次凸规划，一般用FR方法，对于一般函数利用PPR方法。 2） 的任意极限点 都是 f (x)的最优解。 证明：见文中P.85定理 4. 10的证明 定理4.10 设 f (x)存在连续一阶偏导数，且函数为凸函数，且水平集 有界，则由共轭梯度法得到的点列 有如下性质 1） 为严格单调下降序列，且 存在； §4.5 拟Newton法（变尺度法） Newton法的最大优点是靠近极小点时收敛速度快，主要缺点是要计算Hesse矩阵及其逆矩阵，计算量大. ? 有没有可能既保持Newton法快速的优点，又不计算Hesse矩阵及其逆矩阵 ? 牛顿方向：p(k) =－ ? 2f(x(k)) -1g(k) ?近似为 p(k) =－ H(k) g(k) H(k)称为尺度矩阵，且迭代过程中H(k)是变化的，该算法为变尺度法; 只要H(k)正定，方向必是下降方向; 若变化H(k)不断近似于? 2f(x(k)) -1，则算法可以保持牛顿法的快速收敛的优势！ 思想： 1959年Davidon提出变尺度法，1963年经Fletcher和Powell改进，形成DFP法; 1970年Broyden等人提出更稳定的BFGS变尺度法。它被认为是无约束优化问题中最有效的方法之一。 优点： x(1), H1对称 ε0, k=1 d(k)=-Hk gk 一维搜索得λk x(k+1)=x(k)+ λkdk ||x(k+1)-x(k)|| ε? Hk+1=Hk+ΔHk Stop. x(k+1)----解 k=k+1 y N 算法框图： 构造 Hk的原则: 从形式上模仿，造一个方向： H(k)应满足的条件： (1) 满足拟Newton条件：Δxk = Hk+1Δgk (2) H(k)为正定矩阵，这样p(k)为下降方向； (3) 由H(k)出发计算H(k+1)应简便: (4) 算法具有二次收敛性： H(n+1