第四章最佳近似理论课程.ppt

第四章 最佳近似理论 估计理论是统计学和数据处理技术的重要组成部分。确切的说，鼓励问题就是根据给定的观测数据和统计信息，按照一定的准则和要求，对未知的参数或随机变量做出最佳估计。从数学上讲，估计是一类特殊的近似问题。通常，统计学中的最佳估计有两层意思：一是在某种最佳准则意义下的估计，例如最小二乘准则，最大斯然准则等；二是此估计的统计特性要好，例如是无偏的，最小方差的，等等。 对于一个随机向量x，要求用一个常数向量 来估计它，使得均方误差最小，即 这样，如果我们知道关于随机向量x的先验统计均值 ，则此均值就是x的最佳常量估计（在均方误差最小意义下），称为x的最小二乘估计。 其中 是由观测噪声导致的m维随机变量，X是已知的 输入数据矩阵，y是关于输出数据向量（m维），a是未知的系统参数向量（n维）。我们的目的是根据观测矩阵y求关于a的最佳估计 。我们选取的最佳准则为加权均方残差最小： 它称为关于线性模型（4-1-3）中参数向量a的加权最小二乘估计。当取W=I（不加权）时，最佳估计成为 设x为未知的n维随机向量，z为已知的m维随机向量，要求用z的先行形式： 来对x做出最佳估计，其中A为 未知矩阵，b为n维未知向量