AAA最优化理论与方法课件(第3章-马昌凤版).pptVIP

算法(阻尼牛顿法)阻尼牛顿法阻尼牛顿法一致凸阻尼牛顿法阻尼牛顿法(失败的例子)例用阻尼牛顿法求解下列问题牛顿方向显然,用阻尼牛顿法不能产生新点,而点x(0)=(0,0)T并不是问题极小点。可见从x(0)出发,用阻尼牛顿法求不出问题的极小点,原因在于Hesse矩阵?2f(x(0))非正定。再令阻尼牛顿法(失败的例子)阻尼Newton法有关说明阻尼Newton法克服了Newton法的缺点。特别是，当迭代点接近于最优解时，此法具有收敛速度快的优点,对初始点的选择要求不严。但是,阻尼Newton法仍需要计算目标函数的Hesse矩阵和逆矩阵，所以求解的计算量和存贮量均很大。另外，当目标函数的Hesse矩阵在某点处出现奇异时，迭代将无法进行，因此阻尼Newton法仍有相当的局限性。阻尼牛顿法阻尼牛顿法(程序)阻尼牛顿法(例子)3.3修正牛顿法及其Matlab实现ModifiedNewtonMethodandItsMatlabCode(阻尼)牛顿法所用搜索方向是下面线性方程组的解此处假设逆矩阵存在？Newton法的优点是收敛速度快、程序简单。特别是前一个优点，在最优化方法中尤为突出。但计算实践指出，Newton算法在运行时经常失败。下面将找出失败的原因，并给出解决办法。修正Newton法(非线性方程组Newton法的推广)即令此时已经满足精度要求,得近似解问题的最优解为x*=(0,0)T。容易证明,用最速下降法极小化目标函数时,相邻两个搜索方向是正交的。令则最速下降法存在锯齿现象:从直观上可以看到，在远离极小点的地方，每次迭代都有可能使目标函数值有较多的下降，但在接近极小点的地方，由于锯齿现象，每次迭代行进的距离开始逐渐变小。因而收敛速度不快。最好的方向+最好的步长≠最好的方法走了很多弯路负梯度方向的缺陷最优解梯度下降法是沿锯齿状路线前进，接近最优解时一维搜索效率很低，前进速度很慢。最优解最优方向克服负梯度方向缺陷的途径用适当的正定矩阵（尺度矩阵）乘负梯度方向，其作用是对后者进行适当的旋转，以获得更好的方向。最速下降法的收敛性最速下降法的收敛速度例3.2.用最速下降法求解,初始点取为(9,1)T：上一章的结论对于正定二次函数，解精确一维搜索问题，得例3.2的解这说明最速下降法至多是线性收敛的。对于正定二次函数,最速下降法的迭代公式为由于x0=(9,1)T,g0=(9,9)T,可得由归纳法可以证明因此,，且上面例题的部分迭代数据：kxkfk||gk||αk0(9.00001.0000)45.000012.72790.20001(7.2000-0.8000)28.800010.18230.20002(5.76000.6400)18.43208.14590.20003(4.6080-0.5120)11.79656.51670.2000...1001.0e-08*(0.18330.0204)1.8673e-182.5927e-090.2000在上述定理中,若令r=λmax/λmin,则定理表明:条件数越小,收敛越快;条件数越大,收敛越慢.条件数特别地，r=1时，一步即可停止最速下降法的Matlab代码例3.3利用上面的程序求解无约束优化问题显然该问题有精确解例3.4利用上面的程序求解无约束优化问题显然该问题有精确解分析a与b取不同值时迭代次数的变化规律。初始点都取为(1,1)T，精度取1e-5。ab离心率迭代次数最后目标值11010210.8660173.2742e-11410.9682723.1986e-10610.98601528.3658e-10总结：从局部来看，最速下降方向确实是目标函数值下降最快的