应用数学我的光盘ppt课件ctex ch7.pdf

最优化方法及其 Matlab 程序设计 马昌凤 2010 年3 月22 日 目 录 第七章 非线性最小二乘问题 1 7.1 Gauss-Newton 法 . . . . . . . . . . . . . . . . . . . . . . . . . 1 7.2 Levenberg-Marquardt 方法 . . . . . . . . . . . . . . . . . . . . 11 7.3 L-M 算法的Matlab 程序 . . . . . . . . . . . . . . . . . . . . . 27 ii 第七章 非线性最小二乘问题 非线性最小二乘问题是科学与工程计算 中十分常见 的一类 问题, 并 在经济学等领域有广泛的应用背景. 不但如此, 约束优化问题还可 以通过 KKT 条件与非线性方程组建立起重要的关系. 本章, 我们主要讨论非线性 最小二乘问题的一些求解算法及其收敛性质. 7.1 Gauss-Newton 法 非线性最小二乘问题是求 向量任 ∈ 使 ‖ () ‖2 最小, 其 中, 映 射 : → 是连续可微函数. 非线性最小二乘问题在工程设计、财 政金融等方面的实际问题 中有着广泛的应用. 1 第七章 非线性最小二乘问题 回目录 7.1 GAUSS-NEWTON 法 记 () = ( (), (), · · · , ()) . 则非线性最小乘问题可 以表 1 2 示为 ∑︁ 1 2 1 2 min () = ‖ () ‖ = (). (7.1) ∈ 2 2 =1 显然, 该 问题本身就是一个无约束优化问题, 因此可 以套用无约束优化问 题 的数值方法如牛顿法、拟牛顿法等方法求解. 基于 问题 (7.1) 的特殊性, 我们在这些优化算法的基础上, 建立更适合本类 问题的求解算法. 对于 问题 (7.1), 目标函数 的梯度和Hesse 阵分别为: () ∇ () = ∇ (︁1 ‖ () ‖2)︁ = () () = ∑︁ ()∇ (), 2 =1