讲估计准则.pptVIP

验证二阶导数 如果A=0 多参量的同时估计 定义： 或 最大似然方程 例7.5 设有N次独立观测zi=A+vi ，i=1,2,….N， vi~N(0,?2)其中A和?2均为未知参量，求A和?2的最大似然估计。 例：未知信号幅度的估计 设有N次独立观测z[n]=As[n]+v[n] ，n=0,1,….N-1， v[n]~N(0,?2)其中A和?2均为未知参量，求A的最大似然估计。 正弦幅度信号的估计 不在0或1/2附近 正弦相位的估计（参见例7.7） 不在0或1/2附近 7.4 估计量的性能 无偏性、有效性、一致性 1 性能指标 （1）无偏性 ?为确定性参量（非随机参量） ?为随机参量 渐近无偏 （2）有效性 方差越小，估计越有效 在无偏估计中，方差最小的估计称为有效估计量 随着观测数据的增加，估计依概率收敛于真值 3. 一致性 先验信息的利用，将有利于提高估计的性能 例：高斯白噪声中未知电平的估计 * 7.2 贝叶斯估计（Bayes Estimate） 代价函数 最小均方估计 条件中位数估计 最大后验概率估计 估计是有误差的，这个误差是要付出代价的，贝叶斯估计就是使平均代价最小的估计。 贝叶斯估计的基本思想 Cost function 7.2.1 代价函数 Estimate error Estimator Parameter to be estimated 典型的代价函数有： 平方代价函数可得到最小均方估计 绝对值代价函数可得到条件中位数估计 均匀代价函数可得到最大后验概率估计 平均代价为 贝叶斯估计就是使上式的平均代价最小的估计。 或等价于 ?min 不同的代价函数得到不同的估计 2. 最小均方估计 采用平方代价函数的贝叶斯估计 平均代价====均方误差 最小均方估计 (MMSE, Minimum Mean Square Error Estimate) 很容易验证 最小均方估计是被估计量的条件均值 最小均方估计的求法： 由于 所以最小均方估计具有无偏性 2 条件中位数估计（Conditional Median Estimate) 采用绝对值代价函数的贝叶斯估计 上式对估计求导，并令导数等于零，得 采用绝对值代价函数的贝叶斯估计刚好是条件概率密度的中位数，所以也称为条件中位数估计。 4. 最大后验概率估计 采用均匀代价函数的贝叶斯估计 0 图 后验概率密度 最大后验方程 最大后验估计的求法： 例7.2 噪声中的DC电平估计 v是独立同分布的高斯随机变量，均值为零，方差为 ?2 0 0 0 习题7.1证明了N次独立观测的最大后验概率估计为， 最小均方估计 A0 A0 -A0 -A0 估计量 估计图形 例7.3 高斯白噪声中的DC电平估计 vi 是独立同分布的高斯随机变量，均值为零，方差为 ?2 令 贝叶斯估计总结 最小均方估计 条件中位数估计 最大后验概率估计 Mean=Median=Mode 高斯后验分布 例：指数分布 已知 其中观测zi是条件IID, 即 求最大后验概率估计 解： 7.3 最大似然估计 定义： 或 最大似然方程 举例: 高斯白噪声中恒定电平的估计 设有N次独立观测， 求A的最大似然估计 解： 令上式等于零，可解得 即最大似然估计为： 由于 所以求得的 为极大值 观测数据对估计的影响 N=12 N=4 N=1 例7.5 设有N次独立观测zi=A+vi ，i=1,2,….N，其中A为已知参量，vi~N(0,?2)，求噪声方差?2的最大似然估计。