阻尼牛顿法定稿.pptVIP

首先，注意到 时， 所以该问题的目标函数有极小值，梯度和Hesse矩阵如下： 梯度 ，Hesse阵 ，若取初始点 ，则对应的梯度 ， Hesse矩阵的逆 此时牛顿方向 不是目标函数的下降方向，牛顿迭代点 对应的函数值 ，经过数值实验可以看出，牛顿法不能求出目标函数的极小值。 求解二维优化问题 另外，当沿着方向 进搜索时，由于目标函数 所以线搜索的最小点仍为 ，无法应用阻尼牛顿法解决该问题。 求目标函数 极小点，初值此时Hesse矩阵奇异，故无法求出它的逆阵，阻尼牛顿法到此不能继续进行。 （阻尼）牛顿法的困难 应用牛顿法的主要困难是Hesse矩阵可能奇异，或者接近奇异；即使该矩阵是可逆的，它也未必是正定矩阵。此时，导出的牛顿法迭代格式的二次函数不一定有极小点，甚至没有驻点。为了保证近似目标函数的二次函数是严格凸的，存在极小点，就需要对二次函数的Hesse矩阵进行修正。修正牛顿法的基本思想是：在确定搜索方向时，对Hesse矩阵增加一个校正矩阵，使之正定，这样可以保证搜索方向是目标函数的下降方向。 简介几种修正方法 牛顿法的效能特点 缺点： 1. 对目标函数要求高。函数必须具有连续的一阶、二阶偏导数。同时其赫森矩阵必须正定且非奇异性。 2. 计算复杂。计算梯度外，还要计算其二阶偏导数，矩阵的逆。 变尺度法利用了梯度法和牛顿法的优点，先用梯度法，后用牛顿法并避开Hesse矩阵及其逆的计算。 * * * * * * * * LOGO 牛顿法与阻尼牛顿法 团队成员：崔尚 金英博 郭向姝 多丽娅 赵丽霞 窦永贵 尹逊增 宋红喜 陈建 王思远 冯文秀 牛顿法主讲：崔尚 阻尼牛顿法主讲：金英博 牛顿法 1.基本原理 在第K次迭代的迭代点 的邻域内，把 展开成泰勒级数的二次函数式去近似代替原目标函数 ，然后求出该二次函数的极小点，作为对原目标函数求优的下一个迭代点，依此类推，通过多次重复迭代，使迭代点逐步逼近原目标函数的极小点。 . 释图： Company Logo 设目标函数是连续二阶可微的，将函数在点 按泰勒级数展开，并取到二次项： 对x求导，其极值点必满足一阶导数为零，所以， 得到 式中， 为Hessian矩阵的逆矩阵。 在一般情况下， 不一定是二次函数，因而 也不可能是 的极值点。但是在 点附近，函数 和 是近似的，所以可以用 点作为下一次迭代，即得 如果目标函数 是正定二次函数，那么 是个常矩阵，逼近式 是准确的。因此由 点出发只要迭代一次既可以求 的极小点。 式与一维搜索公式 比较，则有搜索方向 ， 步长因子  牛顿法的迭代算式 其中 称为牛顿方向。 2.迭代步骤 一 给定初始点 ，计算精度ε，令k=0； 二 计算 点的梯度 、 及其逆矩阵 。 三 构造搜索方向 四 沿 方向进行一维搜索，得迭代点 五 收敛判断： 若 ，则 为近似最优点，迭代停止， 输出最优解 和