无约束最优化方法最速下降法牛顿法.ppt

第3.2节Newton法及其改进（2）阻尼牛顿法：[定理3.7]设在开凸集D上二阶连续可微，且对任意的，存在常数，使得在水平集上满足则从任意的初始点出发，阻尼牛顿法产生的迭代点列满足：（1）当为有穷点列时，其最后一个点为的唯一极小点。（2）当为无穷点列时，收敛到的唯一极小点。第16页,共32页，星期六，2024年，5月第3.2节Newton法及其改进[推论3.8]设在开凸集D上二阶连续可微，且对任意的，存在常数，使得在水平集上满足则从任意的初始点出发，牛顿法产生的迭代点列满足，且收敛到的唯一极小点。第17页,共32页，星期六，2024年，5月第3.2节Newton法及其改进阻尼牛顿法的优点与缺点：阻尼牛顿法克服了牛顿法要求初始点充分靠近目标函数的极小点的缺点，但只有当目标函数的Hesse矩阵处处正定时，才具有全局收敛性。如果Hesse矩阵不是处处正定，当初始点远离局部极小点时，Hesse矩阵可能不正定，这时Hesse矩阵可能奇异也可能是非奇异。若Hesse矩阵奇异，求解方向的方程组可能无解，或者虽然有解，但求出的方向不能使迭代过程继续进行下去；若Hesse矩阵非奇异，但不正定，则求得的方向可能不是下降方向。第18页,共32页，星期六，2024年，5月第3.2节Newton法及其改进[例3.9]取，则，，显然，是可逆矩阵，但不正定。其逆矩阵为于是，沿此方向进行线性搜索，，其极小点为，因此迭代不能继续进行下去。第19页,共32页，星期六，2024年，5月第3.2节Newton法及其改进（3）带保护措施的阻尼牛顿法（Goldstein和Price，1967）第20页,共32页，星期六，2024年，5月第3.2节Newton法及其改进（4）吉尔-默里稳定牛顿法（Gill和Murray，1974）（4-1）对称矩阵的三角分解定理（4-2）强迫矩阵正定的分解（4-3）吉尔-默里稳定牛顿法第21页,共32页，星期六，2024年，5月第3.2.4节吉尔-默里稳定牛顿法[定义3.14]设在开集D上二次连续可微，（i）如果Hesse矩阵至少有一个负特征值，则叫做不定点。（ii）如果x是一个不定点，若方向d满足则称d为在x处的负曲率方向。第22页,共32页，星期六，2024年，5月第3.2.4节吉尔-默里稳定牛顿法负曲率方向的性质：（1）若方向d为负曲率方向，则也是负曲率方向。（2）在鞍点处，负曲率方向必是下降方向；（3）在一般点处，若负曲率方向d满足：，则d与均是下降方向；，则d是下降方向；，则是下降方向。第23页,共32页，星期六，2024年，5月第3.2.4节吉尔-默里稳定牛顿法Gill-Murray稳定牛顿法的基本思想：当Hesse矩阵在迭代点处为不定矩阵时，对其进行强迫正定的分解；当趋于零时，采用负曲率方向使函数值下降。第24页,共32页，星期六，2024年，5月第3.2.4节吉尔-默里稳定牛顿法[算法3.15]（求负曲率方向的算法）（1）令；（2）求下标t，使得（3）若，表明不能得到负曲率方向，停止；否则，求解方程组求得处的负曲率方向。第25页,共32