张旭东《现代信号分析和处理》第2章-1 估计理论.pptVIP

第2章：估计理论基础统计推断：估计和假设检验估计理论：经典估计，贝叶斯估计估计方法：点估计和区间估计a.是一个随机变量b.估计器设计依赖于样本数据的概率密度函数(PDF)的假设估计器

例n=0,1,2,…N-1是零均值白噪声，估计A一个直观的估计器为a.这个估计器怎样接近于真实值A.b.有没有更好的估计器，怎样设计好的估计器？

估计器性能的其他描述

估计器性能的方差描述

几个常用估计量均值估计方差估计自相关估计

互相关估计

Cramer-Rao下界最小方差无偏估计器（MVU）,它的最好估计性能.注：本讲义对经典估计部分如下表示等价

（定理一继续）

最大似然估计（MLE）最实用的估计器，有良好的渐近特性

例得

就是MLEMVU就是MLE

概率密度函数估计问题

MLE渐近特性MLE逼近于一个无偏的，最小方差可达的MVU估计器对于一般的PDF,MLE可以通过迭代计算

2.4Bayesian估计

最小均方Bayesian估计

最小均方误差为在计算时，经常利用关系式

矢量情况

例

因此

随机参数估计的Cramer－Rao界

·高斯情况

Baysian估计零均值情况

一般Bayesian估计

例解

一致性条件：

2.5线性贝叶斯估计器

线性估计器

·这组关系式可以直接联系到Wiener滤波问题·线性Bayesian估计与高斯分布下的Bayesian估计是一致的，在高斯分布下，线性估计可达最优

附注高斯分布在随机信号处理中有特殊的地位，高斯分布时，线性估计是真正的最优估计，因此，对于高斯分布，线性系统是适用的。这些概念推广到时间波形的估计也是适用的。对于非高斯分布，真正的最优系统是非线性系统，当线性系统的简化实现不能满足性能要求时，人们要回到贝叶斯估计的源头，寻找对“后验期望”或“最大后验概率”的更加精确的逼近实现。

附注（续）建立在均方误差最小和“Hit－Miss”准则下的“后验期望”和“最大后验概率”方法只是贝叶斯理论的两个常用准则下的结果，在不同应用中，利用对专门问题的研究，提出新的风险函数和误差准则，发展新的贝叶斯估计方法，仍是将统计方法用于各种新问题时，一个有价值的研究方向。

2.6最小二乘估计最小二乘问题（LS）

线性模型估计问题线性模型：估计允许模型存在误差，且误差平方和最小：解为：误差和：

例假设有一个多变量系统，输出为用线性模型逼近

正则化最小二乘估计正则化LS解为

2.7EM算法（期望最大算法）设一个完备数据集存在完备数据集到观测数据（不完备集）的映射以完备数据集的条件数学期望代替对数似然函数为使积分进行，待估计参数使用猜测值，构成迭代

EM算法步骤1：初始化，选择步骤2：期望计算（E步）步骤3：最大值选择（M步）步骤4：收敛性检测，若没收敛，转第2步