第2章估计理论427002001.ppt

就是MLE EM算法（期望最大算法） 设一个完备数据集 存在完备数据集到观测数据（不完备集）的映射 以完备数据集的条件数学期望代替对数似然函数 为使积分进行，待估计参数使用猜测值，构成迭代 EM算法 步骤1：初始化，选择 步骤2：期望计算 步骤3：最大值选择 步骤4：收敛性检测，若没收敛，转第2步 附注 高斯分布在随机信号处理中有特殊的地位，高斯分布时，线性估计是真正的最优估计，因此，对于高斯分布，线性系统是适用的。这些概念推广到时间波形的估计也是适用的。 对于非高斯分布，真正的最优系统是非线性系统，当线性系统的简化实现不能满足性能要求时，人们要回到贝叶斯估计的源头，寻找对“后验期望”或“最大后验概率”的更加精确的逼近实现。 附注（续） 建立在均方误差最小和“Hit－Miss”准则下的“后验期望”和“最大后验概率”方法只是贝叶斯理论的两个常用准则下的结果，在不同应用中，利用对专门问题的研究，提出新的风险函数和误差准则，发展新的贝叶斯估计方法，仍是将统计方法用于各种新问题时，一个有价值的研究方向。 2.5 线性贝叶斯估计器 线性估计器 ·这组关系式可以直接联系到Wiener滤波问题 ·线性Bayesian估计与高斯分布下的Bayesian估计 是一致的，在高斯分布下，线性估计可达最优 * * 第2章：估计理论基础 基本经典估计问题 用一组观测数据 估计一个未知的确定性参数?, 估计器记为 a. 是一个随机变量 b. 估计器设计依赖于观察数据的概率密度函数(PDF)的假设 例 n=0,1,2,…N-1 是零均值白噪声，估计A 一个直观的估计器为 a. 这个估计器怎样接近于真实值A. b. 有没有更好的估计器，怎样设计好的估计器？ 几个常用估计量 均值估计 方差估计 自相关估计 Cramer-Rao下界 最小方差无偏估计器（MVU）, 它的最好估计性能. （定理一继续） 最大似然估计（MLE） 最实用的估计器，有良好的渐近特性 例 得 MVU就是MLE 例 MLE渐近特性： 也就是说，MLE逼近于一个无偏的，最小方差可达的 MVU估计器 对于一般的PDF, MLE可以通过迭代计算 2.4 Bayesian估计 最小均方Bayesian估计 最小均方误差为 在计算时，经常利用关系式 矢量情况 例 因此 随机参数估计的Cramer－Rao界 ·高斯情况 Baysian估计 零均值情况 一般Bayesian估计 例 解 *