牛顿法与修正牛顿法培训资料.pptVIP

12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 12 100 牛顿法与修正牛顿法 ;.; * 6、评价 4、优缺点 5、修正牛顿法 3、迭代步骤 　1 、思想来源 2、基本思想 牛顿法和 修正牛顿法 ;.; * 1、思想来源 梯度法相邻两次搜索方向总是相互正交，搜索路线呈锯齿形，使得其在极小点附近，收敛速度越来越慢。人们试图找到这样一种方向：它直接指向最优点，使得从任意选定的初始点出发，沿此方向迭代一次就能达到极小点。 ;.; * 2、基本思想 在求目标函数 的极小值时，先将它在 点附近展开 成泰勒级数的二次函数式，然后求出函数的极小值点，并以此点作 为欲求目标函数的极小值点 的一次近似值。 设目标函数是连续二阶可微的，将函数在点 按泰勒级数 展开，并取到二次项： ;.; * 对x求导，其极值点必满足一阶导数为零，所以， 得到 式中， 为Hessian矩阵的逆矩阵。 ;.; * 在一般情况下， 不一定是二次函