阻尼牛顿法定稿.pptVIP

阻尼牛顿法计算框图阻尼牛顿法算例(3)牛顿方向OK~LOGO********牛顿法与阻尼牛顿法团队成员：崔尚金英博郭向姝多丽娅赵丽霞窦永贵尹逊增宋红喜陈建王思远冯文秀牛顿法主讲：崔尚阻尼牛顿法主讲：金英博牛顿法基本原理在第K次迭代的迭代点的邻域内，把展开成泰勒级数的二次函数式去近似代替原目标函数，然后求出该二次函数的极小点，作为对原目标函数求优的下一个迭代点，依此类推，通过多次重复迭代，使迭代点逐步逼近原目标函数的极小点。0102释图：CompanyLogo设目标函数是连续二阶可微的，将函数在点按泰勒级数展开，并取到二次项：对x求导，其极值点必满足一阶导数为零，所以，01得到02式中，为Hessian矩阵的逆矩阵。03在一般情况下，不一定是二次函数，因而也不可能是的极值点。但是在点附近，函数和是近似的，所以可以用点作为下一次迭代，即得A如果目标函数是正定二次函数，那么是个常矩阵，逼近式是准确的。因此由点出发只要迭代一次既可以求的极小点。B式与一维搜索公式比较，则有搜索方向，步长因子1牛顿法的迭代算式2其中称为牛顿方向。3迭代步骤01给定初始点，计算精度ε，令k=0；02计算点的梯度、及其逆矩阵。03构造搜索方向04沿方向进行一维搜索，得迭代点收敛判断：若，则为近似最优点，迭代停止，输出最优解和终止计算。若不满足，令k=k+1，转第二步继续迭代。若用原始牛顿法求某二次目标函数的最优解，则构造的逼近函数与原目标函数是完全相同的二次式，其等值线完全重合，故从任一点出发，一定可以一次达到目标函数的极小点。01因此，牛顿法是具有二次收敛性的算法。其优点是：对于二次正定函数，迭代一次即可以得到最优解，对于非二次函数，若函数二次性较强或迭代点已经进入最优点的较小邻域，则收敛速度也很快。02原始牛顿法的缺点是：由于迭代点的位置是按照极值条件确定的，并未沿函数值下降方向搜索，因此，对于非二次函数，有时会使函数值上升，即f(xk+1)f(xk)，而使计算失败。03原始牛顿法的特点。解：(1)取初始点(2)计算牛顿方向3.举例用牛顿法求函数的极小值。A故极小值B数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点，01但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离最小点比较远，就难保证收敛；02牛顿法必须求一阶、二阶导数及求逆阵，这对较复杂的目标函数来说，是较困难的。03阻尼牛顿法的迭代公式阻尼牛顿法的计算过程和算法框图LOGO********