第四章最佳近似理论技术分析.ppt

第四章 最佳近似理论 估计理论是统计学和数据处理技术的重要组成部分。确切的说，鼓励问题就是根据给定的观测数据和统计信息，按照一定的准则和要求，对未知的参数或随机变量做出最佳估计。从数学上讲，估计是一类特殊的近似问题。通常，统计学中的最佳估计有两层意思：一是在某种最佳准则意义下的估计，例如最小二乘准则，最大斯然准则等；二是此估计的统计特性要好，例如是无偏的，最小方差的，等等。 对于一个随机向量x，要求用一个常数向量 来估计它，使得均方误差最小，即 这样，如果我们知道关于随机向量x的先验统计均值 ，则此均值就是x的最佳常量估计（在均方误差最小意义下），称为x的最小二乘估计。 其中 是由观测噪声导致的m维随机变量，X是已知的 输入数据矩阵，y是关于输出数据向量（m维），a是未知的系统参数向量（n维）。我们的目的是根据观测矩阵y求关于a的最佳估计 。我们选取的最佳准则为加权均方残差最小： 它称为关于线性模型（4-1-3）中参数向量a的加权最小二乘估计。当取W=I（不加权）时，最佳估计成为 设x为未知的n维随机向量，z为已知的m维随机向量，要求用z的先行形式： 来对x做出最佳估计，其中A为 未知矩阵，b为n维未知向量。最佳准则是使均方误差达到极小： 其中 为x的协方差阵， 为z和x的互协方差阵。于是最佳的向量b和矩阵A应满足 最后得到的最佳估计（也称为最小二乘线性估计）为 一种估计的好坏，不仅取决于它所遵循的最优准则，还要看它是否具有良好的统计特性。常用的统计特性是无偏性和最小方差性。 如果随机向量x的估计 的均值等于x的均值： 则称此估计 是x的无偏估计。当估计 为非随机时上式变为 式（4-1-15）等价于估计误差 的均值为零： 前面讨论的例4-1-1中的估计显然是无偏的。对于例4-1-2，其估计的均值为 因此，如果噪声向量的均值为零： ,即估计（4-1-5）是无偏的。对于例4-1-3，估计（4-1-14）显然是无偏的。 如果对于一切可能的估计，估计 对应的估计误差 具有最小的方差 这时对应的 也称为x的最小方差估计。有时，更要求 具有最小的协方差阵： 对估计要求具有无偏性，能保证根据大量重复实验观测值而得的估计在均值附近摆动，而最小方差特性则要求这种摆动的幅度的平均值是最小的。 现在来看例4-1-2中的估计（4-1-5）。因为这个估计式中含有可变的权矩阵W，故要讨论当W为何值时该估计具有最小方差特性。由式（4-1-5）知估计误差为： 于是估计误差的协方差阵为 为了研究 的最小化问题，需要引入下述引理。 这表明，在线性模型 ，（4-1-3）的加权最小二乘估计（4-1-5）中，当取权矩阵 时相应的估计 矩阵的广义逆是近代矩阵理论中的重要内容之一。它的应用遍及各个工程领域，包括信号处理领域。本节扼要介绍其基本内容及其在最小二乘估计中的应用。 考虑到大家都已学习矩阵分析中的相关内容，故本节内容不在课堂上具体介绍。同学们可以参照课本相应章节进行适当复习。 本节主要讨论的问题，是当被估计量为随机时，如何对它进行最佳估计。 首先仍讨论线性模型 ，其中a是随机参量。设 的均值为零、协方差阵 ，还假定a的均值为零，协方差阵 ，以及a与 不相 关 ： 。现在来求关于a的最佳线性估计： 它满足均方误差最小的准则： 因此a的最小均方线性估计为 相应的估计误差的协方差阵为 显然，最佳矩阵 是第三章中介绍的维纳滤波器矩阵的特例 所以估计（4-3-5）也成为维纳滤波。 维纳滤波的要求比较苛刻，因为它需要先验统计特性P和R。因而我们考虑另一种估计方法，称为带约束的最小二乘估计。它只需预先知道噪声 的能量 。 假定噪声能量 是一个以知的常数b，求模型 中a