第五讲 参数估计的基本理论和相关抵消(第1、2讲).ppt

参数估计的基本理论 第五讲 主 要 内 容 参数估计介绍 参数估计解释 最小方差估计MV 最大似然估计ML 最小二乘估计 LS 三种估计方法总结 估计的评价标准 参数估计和极小化 相关抵消 1 参数估计介绍 参数估计应用背景：在很多实际问题中，随机信号一般是符合或近似符合各态遍历的，所以可以用一个样本函数在有限的时间轴上的数据来估计出总体的参数。 参数估计的范畴：参数估计是一个统计推断问题，也是信号处理的一个重要课题。如何在测得的一个样本观测值后来推断出总体的参数（如均值、方差等），就是属于参数估计的问题。 2 参数估计介绍 估计的范畴：估计理论就是研究对观测数据进行怎样的运算才能获得对未知参数的最佳估计值的理论，所谓最佳是指估计值与真值最“接近”，衡量这种接近程度的有各种不同的标准，就产生了各种估计方法。 常用的估计方法：最小方差估计、最小线性方差估计、最大似然估计、最小平方估计，另外还有贝叶斯估计、维纳滤波、卡尔曼滤波等。 3 参数估计解释 设被观测的对象为一随机向量x，实际观测结果为随机向量z。我们要讲的估计问题就是根据观测向量z去构造一个函数 ，使 成为x的最佳估计。 例如： 4 最小方差估计定义 设 是根据观测值z对x所求的某种估计，将其估计误差记做 。希望误差 越小越好，即估计误差越密集在零点附件越好，而估计误差的二阶原点混合矩 （也称均方误差阵）就是表示误差分布在零点附近密集程度。也就是要求估计值 ，使估计误差的二阶原点混合矩 达到最小，这个估计值 就叫做x基于观测值z的最小方差估计。 5 最小方差估计局限性 在最小方差估计中必须要知道x和z的联合概率密度，这就限制应用。下面介绍一种较常用的最小方差估计的特殊情况－线性最小方差估计。 6 线性最小方差估计定义（最优线性估计） 设估计量 只是观测量z的线性函数，即 ，此时称线性最小方差估计，又叫最优线性估计，记做 。式中a是与被估计量x同维的非随机向量，B是行数同x的维数，列数同z的维数的非随机矩阵。根据最小方差估计的原理，选择目标函数 ，令 使 达到最小。设 ，所以求 相当于求 和 。 7 线性最小方差估计优越性 可以放宽条件，不需要知道x和z的联合概率密度，只要知道x和z的一、二阶矩就够了，即 8 推导最优线性估计参数 代数导出 和 ： 9 最大似然估计的提出 在实际问题中碰到的随机变量，经常知道其分布密度函数的类型，但不知其参数，因此写不出确切的密度函数，例如，测量一物体长度，测量值是一个随机变量，服从正态分布，即密度函数为 但均值 和方差 的值不知道。为了写出确切的密度函数，可以根据样本值 （即测量值）来估计出均值和方差的值。 10 最大似然估计的提出 更一般地，待求取的未知参数有m个，即 （上例中 ， ），此时设x的分布密度函数是 ，若x的样本值是 ，那么如何估计出参数 的值？估计的方法有很多。这里介绍一种最重要的、适用范围较广的最大似然估计法。 11 最大似然估计定义 设已知n个简单随机样本值 ，令 我们称为样本的似然函数。 如果 在 达到最大值，则称 为 的最大似然估计，并记做 。 12 最大似然估计的计算 将 简记为L，由于对数函数为单调的，所以L与lnL同时达到最大值。LnL在最大点的一阶偏导数为零，即最大似然函数估计 满足方程组（称似然方程组） 由以上分析可知，计算参数 的极大似然估计需要两个条件： A 已测得简单随机样本值 ； B 已知随机变量x的概率密度 ； 13 最小二乘估计（最小平方估计 ） 问题的提出： 在实际问题中，重复的测量值 可以认为是未知数x和观测误差 之和，即 。这里我们希望误差 最小，但误差有正有负，所以误差和最小并不反映各项误差都最小。因为绝对值在数学上运算不便，所以我们将考虑误差平方和最小。 14 最小二乘估计