线性模型参数的最小二乘估计综述.docVIP

线性模型参数的最小二乘估计综述 研1104班检测自动化 李宇 201104212 ：本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过 程。总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和相应的 解决方法。 关键词：线性模型；最小二乘估计；综述 Survey on the least squares estimation on linear model Abstract: The characteristics and development process of the least squares estimation on linear model are briefly introduced. The basic theories of the least squares estimation are presented in detail. Open issues and development intends are also discussed. Key words: linear model ; least squares ; survey 1前言 最小二乘法是一种数学优化技术，它通过最小化误差的平方来寻找数据的最 佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数 据与实际数据之间误差的平方和为最小。随着信息产业的飞速发展，在现代科学 和技术的许多领域广泛存在着信息的处理问题，根据不同的需要，人们在各种优 化准则下研究这些信息的优化处理。由于信息的产生和收集常常受到各种噪声的 干扰，数据一般是不确定的，而是具有一定统计特性的随机数据。在随机问题的 参数估计方面，人们提岀了均方误差、线性最小方差、最小二乘估计等优化准则, 并在一定假设下得到了这些优化准则下最优估计的解析表达式。而在均方误差和 线性最小方差意义下求最优解时，需要待估参数的误差方差阵已知，但在实际问 题屮是很难知道的；最小二乘法则不需要待估参数和误差的任何先验统计信息， 非常便于实际应用。 线性模型是数理统计学中很重要的分支，也是最小二乘法在统计中应用最成 功的领域。本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过 程，总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和解决方 法。 2最小二乘法的发展过程 通常的线性模型表示为： y = X0 + ￡* R”,XwRW,0w Rr 其屮E（￡）= O,C（￡）= /V，Y称为随机观测矩阵，X为设计矩陈，￡为随机观 测噪声，V为误差协方差矩阵：0和＜7为待估计参数。从表达式可以看到变量X 与Y之间的这种线性关系与通常的函数关系不同，因为变量Y的值不能够完全 精确地由X的值所确定。 最小二乘法起源丁?求解线性孑盾方程组即线性模型参数的估值问题。两个世 纪前，著名数学家A. M. Legendre和C. F. Gauss把最小二乘应用于观测数据的分 析。后来,A. A. Markov于1900年证明了最小二乘估计的最小方差性质,即著名 的gauss-Markov定理，奠定了最小二乘估计在参数估计理论中的地位OR. C. Bose 于1944年引入的可估函数的概念以及广义矩阵的应用，使得设计矩阵为列降秩 的线性模型的估计理论表达的更加严格而简洁。误差方差阵为奇异阵的线性模型 的研究始于本世纪60年代屮期。Goldman和Zelen[l]率先捉出了用满秩线性变 换把模型化为协方差阵为带约束的情形。后来C. R. Rao [2]采用推广最小 二乘的途径,提出了 最小二乘统一理论” ULS（The Unified Theory of Least Squares）,它既实用于设计矩阵为列满秩或列降秩，又实用于误差方差阵为奇异 的情形。而儿乎在同一时期，C. R. Rao还提出了另一种计算模型BLUE的方法一 —分块逆矩阵法。 3最小二乘估计的基本原理 3.1最小二乘一次完成法 假定观测模型是线性的，待估计量为二冷,2,…為r，观测为 Zj = + hi202 + ??? + hiM0M , i = l,2,…,N 用矢量和可表示为 z = HO+v 其中 z = [zpz2 其中 z = [zpz2,---z^f, v = [v1,v2,---vAf]r, H = ^21 观测与估计偏差的平方和可表示为 丿 @）=[z?H 卸[z-H$] 最小二乘估计就是使丿0)最小的估计,记为入。求丿(勿对$的导数，并令导数 等于零，得 ^1 = -2Ht[z-H0] = O 由此可得最小二乘估计为 3.2最小二乘递推算法 k=(HTH)~]HTz 上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数k值 大的时候，计算量比较大，因此提出了最小二乘递推算