第三章 线性最小二乘估计.docx

第三章 线性最小二乘估计 最小二乘估计方法是以误差的平方和最小为准则，根据观测数据估计线性模型中未知参数的一种基本参数估计方法。1794年德国数学家C.F.高斯在解决行星轨道猜测问题时首先提出最小二乘法。它的基本思路是选择估计量使模型（包括静态或动态的，线性或非线性的）输出与实测输出之差的平方和达到最小。这种求误差平方和的方式可以避免正负误差相抵，而且便于数学处理（例如用误差的绝对值就不便于处理）。线性最小二乘法是应用最广泛的参数估计方法，它在理论研究和工程应用中都具有重要的作用，同时它又是许多其他更复杂方法的基础。线性最小二乘法是最小二乘法最简单的一种情况，即模型中关于参数的函数是线性的。 假设有一测量方程为，其中为已知的测量数据，为待估计量，为测量噪声，我们可以发现与的关系是线性的。最小二乘方法会告诉我们：如果我们不知道传感器的方差，要在已知测量序列的基础上，怎么样得到估计的值？假设已知其方差为，我们如何应用这个方差，会得到更为准确的估计吗？3.1 最小二乘估计方法 若被估计量是维矢量，则每次观测量和观测噪声均为矢量，线性观测方程为，其中，分别为第次观测量和观测噪声，为观测矩阵。若我们可以得到个观测，将这个观测也可以写成向量形式，记 （3.1）则上式可写为。要求构造的估计量使性能指标 （3.2）达到最小，称这种估计为最小二乘估计，记为。利用微分公式，令，可求出所要求的估计量。将（2）式代入该微分公式，可得则我们可以得到即也就是 （3.3）3.2 线性最小二乘加权估计若观察噪声的均值和协方差分别为，其中，如果不相关，则为对角阵，如果相关，则为方阵，此时更复杂，可取。其原因很简单，就是方差越大的，我们将其的权重设置的越小。线性最小二乘加权估计的性能指标是使达到最小。令，则解上述方程得到 （3.4）3.3 线性最小二乘递推估计 线性最小二乘递推估计的任务是：如果我们已经得到第步的估计，当第步的测量到达后，已知情况下，希望构造估计量，使得的平方和最小，即。 下面我们来推导递推最小二乘的公式。假设次的观察方程为 ，若设 ， ，，则线性观测方程为，。我们将k次所有的测量写成如下向量形式 根据最小二乘的基本原理，我们知道，即为求达到最小值时的。其求取过程如下： 设加权矩阵为 则我们可得。根据线性最小二乘加权估计方法（3.4），可知估计矢量为 （3.5）设，则 （3.6）还是根据最小二乘加权估计方法（3.4），我们知道，所要求得的为将，代入上式，我们得到 （3.7）其中即 （3.8）由（3.6）式得 （3.9）由（3.7）式得将（3.9）式代入上式得 (3.10)此时我们需要保留，但消去。将（3.8）式代入（3.10）得即得 现将递推最小二乘估计总结如下：已知，为一合适的数 （3.11）其中为增益，为新息。回到本节开始的问题，假设有一测量方程为，其中为已知的测量数据，共采集1000个数据，如图3.1所示。为待估计量，其真实值为20。为测量噪声，如果我们不知道传感器的方差，要在已知测量序列的基础上，怎么样得到估计的值？图3.1 传感器采集到的1000个数据解：利用（3.1）式，我们可以得到我们所要研究的问题中，,利用公式（3.3）即可得到估计量，为20.0516。假设已知其方差为，我们如何应用这个方差，会得到更为准确的估计吗？解：根据题意，得到公式（3.4）中的权值W的取值为1/2。利用公式（3.4），我们得到的估计量仍为20.0516。这是为什么呢？这里为什么加权最小二乘没有效果，没有让我们得到更好的估计结果？我们发现，当权值为标量时，最小二乘加权估计和最小二乘的结果是相同的。其运算过程如下：此时我们用小写w表示公式（3.4）中的权值，加权最小二乘估计方法为如果是实际数据发生突变，如图3.2所示。其真实值在第501个点处由20跳变至30，那么，利用上述方法得到的结果如何呢？图3.2 传感器得到的具有突变特征的数据解：利用上述最小二乘方法，我们可以得到的估计为：24.9623。我们发现结果与真实值相比，有很大的差距，也就是估计方法并不准确了。其原因在于，我们假设的模型中并没有考虑真值的跳变。其实所得数据与真实值20、30是有很大关系，求得是二者的平均值。下面我们使用递推最小二乘估计方法（3.11）。M的初值可以设置为任意大的正数，待估计值的初值设为0，我们得到的估计结果如图3.3所示。我们看到，与最小二乘、递推最小二乘估计相比，具有递推效果的最小二乘估计方法能够发现真实值的变化，并在估计值中反映这种变化。但经过了后500个的递推估计，还是没有得到与真实值30相近的估计。再进一步试想，如果真实值的变化的复杂一些，如很多信号的变化都是满足的一阶马尔科夫过程，那么其估计的结果会更差。 图3.3 具有突变特征变量