阻尼牛顿法定稿.ppt

牛顿法与阻尼牛顿法; 牛顿法 1.基本原理 在第K次迭代的迭代点 的邻域内，把 展开成泰勒级数的二次函数式去近似代替原目标函数 ，然后求出该二次函数的极小点，作为对原目标函数求优的下一个迭代点，依此类推，通过多次重复迭代，使迭代点逐步逼近原目标函数的极小点。 ;.; 设目标函数是连续二阶可微的，将函数在点 按泰勒级数展开，并取到二次项： ; 对x求导，其极值点必满足一阶导数为零，所以， 得到 式中， 为Hessian矩阵的逆矩阵。 ; 在一般情况下， 不一定是二次函数，因而 也不可能是 的极值点。但是在 点附近，函数 和 是近似的，所以可以用 点作为下一次迭代，即得 如果目标函数 是正定二次函数，那么 是个常矩阵，逼近式 是准确的。因此由 点出发只要迭代一次既可以求 的极小点。; 式与一维搜索公式 比较，则有搜索方向 ， 步长因子 ;2.迭代步骤 一 给定初始点 ，计算精度ε，令k=0； 二 计算 点的梯度 、 及其逆矩阵 。 三 构造搜索方向; 四 沿 方向进行一维搜索，得迭代点 五 收敛判断： 若 ，则 为近似最优点，迭代停止， 输出最优解 和 终止计算。 若不满足，令k=k+1，转第二步继续迭代。;。;.;3.举例 用牛顿法求函数 的极小值。;故; 数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点， 但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离最小点比较远，就难保证收敛； 牛顿法必须求一阶、二阶导数及求逆阵，这对较复杂的目标函数来说，是较困难的。;编辑ppt; 阻尼牛顿法的迭代公式;阻尼牛顿法的计算过程和算法框图;编辑ppt;编辑ppt;;阻尼牛顿法计算框图;阻尼牛顿法算例;;;;验证算法的准确性;编辑ppt;首先，注意到 时， 所以该问题的目标函数有极小值，梯度和Hesse矩阵如下： 梯度 ，Hesse阵 ，若取初始点 ，则对应的梯度 ， Hesse矩阵的逆 此时牛顿方向 不是目标函数的下降方向，牛顿迭代点 对应的函数值 ，经过数值实验可以看出，牛顿法不能求出目标函数的极小值。 ; 另外，当沿着方向 进搜索时，由于目标函数 所以线搜索的最小点仍为 ，无法应用阻尼牛顿法解决该问题。;求目标函数 极小点，初值此时Hesse矩阵奇异，故无法求出它的逆阵，阻尼牛顿法到此不能继续进行。;;简介几种修正方法;牛顿法的效能特点;缺点： 1. 对目标函数要求高。函数必须具有连续的一阶、二阶偏导数。同时其赫森矩阵必须正定且非奇异性。 2. 计算复杂。计算梯度外，还要计算其二阶偏导数，矩阵的逆。;Thank You !