第六节 Levenberg-Marquardt方法.pptVIP

* * * * * * * * * * * * * * * * * * * * * 非线性最小二乘法 1.改进的Gauss-Newton法 2.Levenberg-Marquardt方法 3.信赖域(L-M)方法 一、非线性最小二乘法 1.一般形式： 3. 改进的Gauss-Newton法： 二、Levenberg-Marquadt方法 disadvantage : that if the value of is large, the calculated Hessian matrix is not used at all. 三、信赖域(L-M)方法 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Gauss-Newton法的优缺点: 优点: 对于零残量问题(即),有局部二阶收敛速度. 对于小残量问题(即较小,或者接近于线性),有快的局部收敛速度. 对于线性最小二乘问题, 一步达到极小点. 缺点: 对于不是很严重的大残量问题, 有较慢的收敛速度. 对于残量很大的问题或者的非线性程度很大的问题,不收敛. 如果不满秩, 方法没有定义. 不一定总体收敛. 为了克服由雅可比矩阵奇异，导致线性搜索得不到进一步下降方向. 只能得到极小点的一个差的估计. 改进策略： 采用信赖域的方法.：通常是非线性函数，Gauss-Newton法用线性化模型代替，得到线性最小二乘问题. 这种线性化并不是对所有的都成立，因此，考虑约束线性化最小二乘问题. 考虑如下的信赖域模型： . 其中为信赖域半径. 这个方程的解可由解如下方程组得到: (7) 从而: . 如果,则;否则. 由于正定(适当调整), 从而(7)产生的方向是下降方向. 这种方法是由Levenberg(1944)和Marqurdt(1963)提出的, 称为Levenberg-Marqurdt method. 简称L-M方法. 8． L-M方法总结： 比例系数为常数，是单位矩阵。从(7)式可看出: 如果比例系数，则为高斯-牛顿法; 如果取值很大，则L-M算法接近梯度下降法. 每迭代成功一步，则减小一次，这样在接近误差目标的时候，逐渐与高斯-牛顿法相似. 由于L-M算法算法利用了近似的二阶导数信息，它比梯度下降法快得多.实践证明，采用L-M算法可以较原来的梯度下降法提高速度几十甚至上百倍. 当足够大时，总可以保证是正定的，从而保证其可逆. 算法的每次迭代都对进行自适应调整. 当接近解时，逐渐减小，权值调整类似于高斯-牛顿法，利用类似于二阶导数的信息，可以快速收敛到最优解. 当远离解时，逐渐增大，权重调整又类似于梯度下降法，可以进行全局搜索.所以LM算法同时具备了牛顿法和梯度法的优点，但计算要占用较多的内存. 1． 最重要的一类信赖域模型： , （8） 其中，, 是目标函数在当前迭代点处的梯度，对称，是在处Hesse阵. 这个模型可以由解 (9) 确定来表征,其中是一个非负数. 如果正定,且牛顿修正满足,则即为上述问题的解. (9)式中. 否则，可以假定约束有效(积极)约束,从而模型(8)可以写成: , （10） 引进Lagrange函数: (11) 由于约束是有效约束, 由约束最优化的最优性条件可知:. 令, 有 （减号变加号） (12) 此即是(9)式. (12)式和为问题的一阶必要条件. 所有的Levenberg-Marquardt方法都要确定一个，使得正定，并解(9)式以确定. 9.Levenberg-Marquardt方法 初始步：给出和，。 第次迭代格式： (1) 给出和，计算和，若，停止. (2) 求解，如果不正定,置,并重复这一步,直到正定. (3) 解方程组,求出. (4) 求的值. (5) 若,置;若,置;否则. (6) 若，置,否则,令. (7) 令,转(1).