第二节参数估计理论_3.pdf

复习 复习 Bayes估计将待估计量看成是一随机变量，是使风险 函数最小的估计。 用均方（二次型）损失函数得到的Bayes估计是MMSE 估计。 用均匀损失函数得到的Bayes估计是最大后验概(MAP) 估计。 Bayes估计需要待估计量的先验知识，即：需要待估 计量的PDF或者后验分布函数f(θ|x) 。而MLE仅需要 由观测决定的似然函数f(x|θ) 。 最大似然估计的估计参数既可以是确定量又可以是随 机量。 服从均匀分布的随机参数的最大似然估计等价与最大 后验概率Bayes估计。 第二章 参数估计理论 (3) 第二章 参数估计理论 (3) 线性均方估计（LMMSE ） 线性均方估计（LMMSE ） 最小二乘估计（LS ） 最小二乘估计（LS ） 2.5 线性均方估计 2.5 线性均方估计 贝叶斯估计需要知道待估计量的PDF或者后验分布函数f( θ|x) 最大似然估计会导致非线性问题的求解。 线性均方（LMMSE ）估计 线性均方（LMMSE ）估计 待定的估计子被表示成观测数据的线性加权和 N ˆ θ ∑w x LMS i i i 1 2 ˆ 估计准则为使均方误差E θ−θ 最小。即 {( ) } N 2 2 2 ˆ arg min ＝ E θ−θ E w x =−θ E e {( ) } {(∑ i i ) } { } i 1 w i ∂E e2 ∂e2 ∂e { } 求偏导数 E E e E ex { } 2 { } 2 { i} 0 ∂w ∂w ∂w i i i ⇒E ex } 0 i 1,...,N { i 正交性原理： 均方误差最小⇔估计误差正交于每一个给定的观测数据xi 线性均方（LMMSE ）估计 线性均方（LMMSE ）估计 正交性原理是线性估计误差最小化的一种几何解释，即由信 号矢量x 的各元素作为一个分量