求解非线性最小二乘问题的一种新方法.pdfVIP

声 明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名： 铘注p p6年i月卫7日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的全部或部分内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的全部或部分内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：．j津弘萆 沁6年‘月印曰 硕士论文 求解非线性最小二乘问题的一种新方法 第一章非线性最小二乘问题概述 1．1研究目的和意义 非线性最／j、--乘问题是最优化问题的一个重要分支。在科学实验，测绘、 设计与工程技术等领域中，我们经常要进行数据拟合，参数估计和函数逼近， 这往往归结到求解非线性最小二乘问题： 记 min删=寺R∽7五∞=寺∑阢o)】2 (1．1) ·‘‘t-I 其中工∈R4称为决策变量，R(x)=“(力，12(功，．．．，，厢O))7称为在点x的残向量。 厂(功称为目标函数(或者评价函数)。 目标函数的梯度和海森矩阵分别为； g(曲=Vf(x)=J(x)R(x) (1．2) (1．3) G(x)ffiV2f(x)=．，(力‘，(力7+∑‘(功V2‘∽=^彳(功+s(砷 t=l 其中J(x)=【飘@)，V吃(∞，．．．，V‘(瑚。 从式(1．1)’(1．3)可以看出非线性最小二乘问题是一类特殊的最优化问 题，可以运用无约束优化问题的计算方法来求解。结合问题的特殊结构是求解 非线性最小二乘问题的有效算法，目前一些比较流行的算法都是结合问题的特 殊结构提出的。随着非线性最小二乘问题的广泛应用，算法的研究越来越受到 重视，研究人员给出了大量的求解策略。 忽略了(1．3)中S(z)的高斯一牛顿法对于解决零残量和小残量问题非常有 效，但是它对大残量问题以及‘，(x)奇异时求解效果不好。拟牛顿类算法是对于 高斯一牛顿法非常有效的补充，且具有超线性收敛性。随着非线性最d,-乘问题 的广泛应用，近年来涌现出许多非常有效的新方法，这些新方法中具有代表性 的有：混合算法和自度量类算法。 拟牛顿方程是对牛顿方程的拟牛顿修正得到的，随着研究的深入，已经构 造出许多具有很好逼近性的拟牛顿方程。拟牛顿方法不需要计算目标函数的海 森矩阵，计算量相对较少，从而提高了运算速度，节省了内存；1994年HuschensⅢJ 硕士论文 求解非线性最小二乘问题的一种新方法 提出了一种被称为自度量类的算法，也就是在(1．3)的非线性部分加了一个度 量陋@)8．即目标函数海森矩阵写成如下形式： ∑‘(矗)V2r,(xD n4’ G∞“(x)J(xy+№)0生蕊砜一 将目标函数的海森矩阵重写成(1．4)形式是非常有效的设计，在文章的后半部 分给出的算法就是在此基础上提出的，这种结构容易将问题划分为零残量问题和 非零残量问题来考虑。本文运用一种特殊的拟牛顿方程结合自度量算法给出了求 解非线性最小二乘问题的一种新方法。 在下面的章节中我们将对非线性最小二乘问题求解方法进行分类，这种分类 方法主要是基于算法设计的不同角度来划