[理学]5无约束优化.ppt

下面看一下理论推导： 用于二次函数时的收敛性分析 Newton法的二次终止性 取 d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) ， ▽2f(x(k)) 正定 - ▽f(x(k)) ，否则 采用下列不精确一维搜索：求λk , 满足Goldstein准则 1° f(x(k)+λkd(k)) ≤ f(x(k))+ δλk▽f(x(k)) Td(k) 2° f(x(k)+λkd(k)) ≥f(x(k))+ (1-δ) λk ▽f(x(k)) Td(k) 其中δ ∈(0,1／2) 引理4.4 设f(x)=1/2xTAx+bTx+c，AT=A0，给定方向p1，在与p1平行的两条直线上（如图），f(x)的最小点为x1，x2，则 p1TAp2=0, （p2=x2-x1） 算法的收敛性分析: 7. 利用非精确一维搜索方法 （1）得到的方法有可能不是下降方法，当不是下降方向的时候，用最速下降方向重新开始。但是这样的重新开始可能使大量的，因此会降低计算效率。 （2）利用一个下降的原则去控制。 5. 另一种方法是把n步作为一轮，每搜索一轮后，取一次最速下降方向，开始下一轮。这种策略称为“重新开始”或“重置”。 由于共轭梯度法中各个搜索方向的共轭性依赖于初始方向为负梯度方向，共轭方向只有n个，为了保持共轭方向性，所以每次迭代n步后，重新从一个负梯度方向开始。另外由于每次计算的λk 和βk不精确，所以有积累误差，它影响到算法的收敛性，通常为了避免积累误差，所以重新开始整个算法。 6. 对于一般函数时，前面的几种共轭梯度法计算βk得到的搜索方向是不同的，所以不是等价的。经验证对于二次凸规划，一般用FR方法，对于一般函数利用PPR方法。 2） 的任意极限点 都是 f (x)的最优解。 证明：见文中P.85定理 4. 10的证明 定理4.10 设 f (x)存在连续一阶偏导数，且函数为凸函数，且水平集 有界，则由共轭梯度法得到的点列 有如下性质 1） 为严格单调下降序列，且 存在； b) 若取椭球范数 ，最速下降方向则为 事实上， 即 ，有 （意味着 为方向导数下界） 另一方面，若取 时 方向导数达到下界 ，故 是对于椭球范数 下的最速下降方向。 6、牛顿算法实际上是非线性方程组的牛顿迭代法。 等价于求解非线性方程组 设 是当前迭代点，若 ，则 是方程组的解，否则将 在 处线性化，得 将上述线性方程组的解作为 的近似解，得 故有 这恰好就是牛顿迭代公式。 由于求解 若 由以上分析可知，固定的步长因子不能保证目标函数有合理的改善，甚至不能保证算法下降，因此有必要对牛顿算法作一些改进，一个最直接的改进是：在牛顿算法中加入一维搜索。 （二）修正(阻尼)Newton法 ? 怎样才能使Newton法成为一个下降算法 ？ 修正Newton迭代公式： x(k+1) = x(k)－ tk H(x(k))－1?f (x(k)) 沿Newton方向一维搜索得到的最优步长 保证了 f(x(k+1)) ≤f(x(k)) ， 且不必要求H(x)为正定矩阵。 ? 出现 (1) H(x(k)) －1不存在；或(2) tk =0 时怎么办 ？ 改用最速下降法 ，即 p(k) =－ ?f (x(k)) 修正Newton法与基本Newton法的优点是： 缺点：要求计算Hesse矩阵及其逆矩阵，计算量大，尤其当维数n较大时。 收敛快，程序简单。前者更实用可靠。 结束 阻尼Newton法的算法框图： 开始 给定x(0) , ? , 令 k=0 计算g(k) =?f( x(k ) ) x*=x(k) 是 一维搜索求tk x(k+1) = x(k) + tk p(k) k=k+1 否 计算 H(x(k))，若可逆p(k) =－H(x(k))－1g(k);否则p(k) =－g(k); ||g(k )|| ? 常用如下Armijo不精确搜索 证明：见文P70中定理4.3的证明. 阻尼Newton法的收敛性 定理4.4 设 f (x)存在连续二阶偏导数，函数的Hessian矩阵 正定, 且水平集 有界，则阻尼牛顿法或者 在有限步迭代后终止；或者得到的无穷点列 有如下性质 1） 为严格单调下降序列； 2） 有唯一极限点 ，它是 f (x)的最小点。 Newton法与最速下降法结合(1)——Marquart法 最速下降法的优点：对初始点要求不高，稳定性好；远离最优点时