线性模型参数的最小二乘估计综述.docVIP

线性模型参数的最小二乘估计综述 研1104班 检测自动化 李 宇 201104212 摘 要：本文简要介绍了线性模型参数的最小二乘估计的特点及相应的发展过程。总结了最小二乘估计的基本理论，探讨了最小二乘估计存在的问题和相应的解决方法。 关键词：线性模型；最小二乘估计；综述 Survey on the least squares estimation on linear model Abstract: The characteristics and development process of the least squares estimation on linear model are briefly introduced. The basic theories of the least squares estimation are presented in detail. Open issues and development intends are also discussed． Key words: linear model ; least squares ; survey 1 前言 最小二乘法是一种数学优化技术，它通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 其中，Y称为随机观测矩阵，X为设计矩陈，为随机观测噪声，V为误差协方差矩阵：和为待估计参数。从表达式可以看到变量X与Y之间的这种线性关系与通常的函数关系不同，因为变量Y的值不能够完全精确地由X的值所确定。 最小二乘法起源于求解线性矛盾方程组即线性模型参数的估值问题。两个世纪前，著名数学家A.M.Legendre和C.F.Gauss把最小二乘应用于观测数据的分析。后来，A.A.Markov于1900年证明了最小二乘估计的最小方差性质，即著名的gauss-Markov定理，奠定了最小二乘估计在参数估计理论中的地位。R．C．Bose于1944年引入的可估函数的概念以及广义矩阵的应用，使得设计矩阵为列降秩的线性模型的估计理论表达的更加严格而简洁。误差方差阵为奇异阵的线性模型的研究始于本世纪60年代中期。Goldman和Zelen[1]率先提出了用满秩线性变换把模型化为协方差阵为且带约束的情形。后来C.R.Rao [2]采用推广最小二乘的途径，提出了“最小二乘统一理论”ULS(The Unified Theory of Least Squares)，它既实用于设计矩阵为列满秩或列降秩，又实用于误差方差阵为奇异的情形。而几乎在同一时期，C.R.Rao还提出了另一种计算模型BLUE的方法——分块逆矩阵法。 3 最小二乘估计的基本原理 3.1 最小二乘一次完成法 假定观测模型是线性的，待估计量为，观测为 ， 用矢量和可表示为 其中，， 观测与估计偏差的平方和可表示为 最小二乘估计就是使最小的估计，记为。求对的导数，并令导数等于零，得 由此可得最小二乘估计为 3.2 最小二乘递推算法 上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数k值大的时候，计算量比较大，因此提出了最小二乘递推算法。 递推算法的一般形式是 上式中：是第k次采样数据后求出的参数估计值，是得到第k+1次采样数据后求出的参数值，是H矩阵的k+1行，是预报值，是（2n+1）维的修正列向量矩阵。 在最小二乘递推算法中，的表达式为： 对推算法的关键问题是确定，如果的修正过于强烈，估计值将波动较大，甚至不能收敛；但如果过于微弱，则需要经过很多次采样后，才能接近可靠的估计值。 4. 最小二乘估计存在的问题以及相应算法简介 最小二乘法是一种最基本和常用的参数估计方法，但研究和应用表明，这一算法仍存在明显的不足： （1）当模型噪声为有色噪声时，LS 估计不再是无偏估计、一致估计。 （2）随着采样次数的增多，数据量不断增加，LS估计有可能出现所谓的“数据饱和”现象，导致递推算法不能接近参数真值。 为了解决最小二乘算法存在的问题，分别提出了遗忘因子法、限定记忆法、增广最小二乘法等估计算法。 4.1 遗忘因子法 对越老的数据加上越强（数值越小）的遗忘因子，从而减少老数据提供的信息量，强调新数据的信息。遗忘因子法的基本算法有一次完成和递推两种，现状仅对一次完成法进行介绍。 设系统有最小二乘格式 ，则 ， 其中 数据长度为N。 对K时刻，进行模型变形（加衰减因子，） 则 由LS算法： 其中