最小二乘估计.ppt

最小二乘估计1、概述2、线性最小二乘估计3、线性最小二乘加权估计4、线性最小二乘递推估计5、单参量的线性最小二乘估计第2页,共24页，星期六，2024年，5月1、概述最小二乘估计起源于1795年，当时高斯运用这种估计方法研究行星运动。最小二乘估计不需要任何先验知识，只需估计量的观测信号模型。平均估值方法是最小二乘估计的一个特例。第3页,共24页，星期六，2024年，5月最小二乘估计方法设被估计量θ信号模型为，因为存在观测噪声或者信号模型不精确性，设受到扰动的记为如果进行N次观测，θ的估计值设为求达到最小。我们把这种估计称为最小二乘估计。（5.8.1）第4页,共24页，星期六，2024年，5月2、线性最小二乘估计（1）估计量的构造规则若被估计矢量θ是M维的，线性观测方程为：其中，第k次观测矢量与同次的观测噪声矢量同维，但是每个的维数不一定是相同的，其维数分别记为；第k次的观测矩阵为。如果把全部L次观测矢量合成一个维数为的矢量：（5.8.3）第5页,共24页，星期六，2024年，5月相应的定义N×M观测矩阵H和N维观测噪声矢量n如下：第6页,共24页，星期六，2024年，5月这样，线性观测方程（5.8.3）写成：使（5.8.5）式中达到最小，这就是线性最小二乘估计量的构造规则。（2）估计量的构造公式为了使（5.8.5）式中达到最小，根据构造规则，有：第7页,共24页，星期六，2024年，5月即所求的的最小二乘估计误差为。（3）估计量的性质估计矢量是观测矢量的线性函数如果观测噪声矢量N的均值为零，则线性最小二乘估矢量是无偏的。第8页,共24页，星期六，2024年，5月因为，如果E（n）=0，则：所以，是无偏估计量。c.如果观测噪声矢量n的均值矢量为零，协方差矩阵为，则线性最小二乘估计矢量的均方误差阵为：第9页,共24页，星期六，2024年，5月例：根据以下对二维矢量θ的两次观测：求出θ的线性最小二乘估计矢量。解：由两次观测方程，可得矩阵形式观测方程为：第10页,共24页，星期六，2024年，5月利用线性最小二乘矢量的构造公式，得：第11页,共24页，星期六，2024年，5月3、线性最小二乘加权估计假定观测噪声矢量n的均值矢量和协方差矩阵为：线性最小而成加权估计的性能指标是使其中W为加权矩阵。将（5.8.11）式求偏导，令结果等于零，得到线性最小二乘加权估计矢量和估计误差为：第12页,共24页，星期六，2024年，5月线性最小二乘加权估计矢量的主要性质：估计矢量是观测矢量的线性函数；如果观测噪声矢量n的均值矢量E(n)=0，则估计矢量是无偏估计量；如果观测噪声矢量n的均值矢量E(n)=0,协方差矩阵则估计误差矢量的均方误差阵为:第13页,共24页，星期六，2024年，5月当时，W才能使均方误差阵取最小值，证明推导过程如下（其中A和B分别为任意两个矩阵）：第14页,共24页，星期六，2024年，5月例：用电表对电压进行两次测量，测量结果分别为216V和220V。观测方程为：其中，观测噪声矢量的均值矢量和协方差矩阵分别为：求电压θ的最小二乘估计量和最小二乘加权估计量。第15页,共24页，星期六，2024年，5月解：非加权估计时，电压的最小二乘估计量和估计量的均方误差分别为：第16页,共24页，星期六，2024年，5月采用加权估计，加权矩阵取最佳加权矩阵，即：可见，线性最小二乘加权估计量的均方误差小于非加权估计量的均方误差。第17页,共24页，星期六，2024年，5月4、线性最小二乘递推估计使用前面两种估计，主要存在两个问题。一是没进行一次观测，需要利用过去的全部观测数据重新进行计算，比较麻烦；而是估计量的计算中需要完成矩阵求逆，这样如果碰到高阶矩阵的话求逆比较有难度，因此我们寻求到了一种递推算法，即利用前一次的估计结果和本次的观测量，通过适当计算，就能获得当前的估计量，这种方法就是线性最小二乘递推估计。具体推算如下：设第k-1次的线性观测方程为：第18页,共24页，星期六，2024年，5月为了强调进行了k-1次观测，采用如下记号：第19页,共24页，星期六，2024年，5月第20页,共24页，星期六