运筹学与最优化方法无约束最优化.pptxVIP

会计学;第五章无约束最优化;第五章无约束最优化;第五章无约束最优化;第五章无约束最优化;第五章无约束最优化;第五章无约束最优化 5.3 Newton法及其修正 二、 Newton法的改进： （续） (4)Levenberg-Marguardt法（L-M法）：主要思想： 用[▽2f(x(k)) +μ I ] 取代▽2f(x(k)) 进行迭代，其中I 为单位矩阵。 μ0 使 [▽ 2f(x(k)) +μ I] 正定， μ尽量小。 特点：全局二阶收敛。;无约束最优化----;共轭梯度法 一、共轭梯度法的方向： （续） 使d(k+1)与d(1),d(2), …,d(k)都共轭：;……⑨;共轭梯度法 一、共轭梯度法的方向： （续） 上式中由⑩式有： - ▽f(x(k+1))T ▽f(x(j+1)) =0;无约束最优化;二、算法流程图;5.4 共轭梯度法 三、算法特点： 1、全局收敛（下降算法）；线性收敛； 2、每步迭代只需存储若干向量（适用于大规模问题）； 3、有二次终结性（对于正定二次函数，至多n次迭代可达opt.） 注：对不同的β k公式，对于正定二次函数是相等的，对非正定二次函数，有不同的效果，经验上PRP效果较好。;变尺度法 一、变尺度法的基本思路： (f)min f(x),;变尺度法 一、变尺度法的基本思路： （续） 3、拟Newton方程： 记：s(k)=x(k+1)-x(k)