论述牛顿法与修正牛顿法.pptVIP

精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 牛顿法与修正牛顿法 ., * 6、评价 4、优缺点 5、修正牛顿法 3、迭代步骤 　1 、思想来源 2、基本思想 牛顿法和 修正牛顿法 ., * 1、思想来源 梯度法相邻两次搜索方向总是相互正交，搜索路线呈锯齿形，使得其在极小点附近，收敛速度越来越慢。人们试图找到这样一种方向：它直接指向最优点，使得从任意选定的初始点出发，沿此方向迭代一次就能达到极小点。 ., * 2、基本思想 在求目标函数 的极小值时，先将它在 点附近展开 成泰勒级数的二次函数式，然后求出函数的极小值点，并以此点作 为欲求目标函数的极小值点 的一次近似值。 设目标函数是连续二阶可微的，将函数在点 按泰勒级数 展开，并取到二次项： ., * 对x求导，其极值点必满足一阶导数为零，所以， 得到 式中， 为Hessian矩阵的逆矩阵。 ., * 在一般情况下， 不一定是二次函数，因而 也不可能是 的极值点。但是在 点附近，函数 和 是近似的，所以可以用 点作为下一次迭代，即得  如果目标函数 是正定二次函数，那么 是个常矩阵，逼近式[1] 是准确的。因此由 点出发只要迭代一次既可以求 的极小点。 ., * 式与一维搜索公式 比较，则有搜索 方 向 ， 步长因子  牛顿法的迭代算式 其中 称为牛顿方向。 ., * 3、迭代步骤 一 给定初始点 ，计算精度ε，令k=0； 二 计算 点的梯度 、 及其逆矩阵 。 三 构造搜索方向 ., * 四 沿 方向进行一维搜索，得迭代点 五 收敛判断： 若 ，则 为近似最优点，迭代停止， 输出最优解 和 终止计算。 若不满足，令k=k+1，转第二步继续迭代。 ., * 例： 用牛顿法求函数 的极小值。 解： (1)取初始点 (2)计算牛顿方向 ., * 故 (3)极小值 ., * 4、优缺点 数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点， 但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离最小点比较远，就难保证收敛； 牛顿法必须求一阶、二阶导数及求逆阵，这对较复杂的目标函数来说，是较困难的。 ., * 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件 精选 课件