第二章参数估计理论_2.pdfVIP

第二章 参数估计理论 (2) 第二章 参数估计理论 (2) Bayes 估计 Bayes 估计 最小均方误差估计（MMSE ） 最小均方误差估计（MMSE ） 最大后验概率估计（MAP ） 最大后验概率估计（MAP ） 最大似然估计（MLE ） 最大似然估计（MLE ） 2.3 Bayes 估计与最大似然估计（MLE ） 2.3 Bayes 估计与最大似然估计（MLE ） ˆ ˆ ˆ b E E 估计子的偏差: θ θ −θ θ =−θ ( ) { } { } 2 2 ˆ ˆ ˆ ˆ θ {[(θ (θ)] } {(θ θ) } 方差： var( ) E =−E E =− 2 2 ˆ ˆ ˆ M (θ) mse (θ) E [(θ θ) ] 均方误差： − 2 ˆ ˆ var(θ) =+b (θ) 当N趋于无穷时，估计子均方误差mse趋于零，相当于要求其 偏差和方差均趋于零，这时称该估计子为一致估计。 最小方差无偏估计器（MVU）：对于确定性参数的估计，最理 想的情况是设计一个无偏估计器，使其估计方差最小，称MVU。 确定性参数与随机参数估计 确定性参数与随机参数估计 确定性参数 的估计： θ p (x ; ) 其中：θ是一个确定性（非随机变量）但未知需要估计的参数 θ 是一个与θ有关的观测向量 的概率密度函数 p (x; ) x (PDF ) 随机参数的估计： θ p (x , ) 其中： θ是一个随机变量，且未知需要估计的参数 p x x PDF θ 是一个与θ有关的观测向量 和参数θ的联合 ( , ) p x p x p θ) p (θ x )p (x ) θ ＝ θ ( , ) ( ) ( p (x θ)是θ取值情况下x的条件PDF 先验概率 p (θ x )是x 取值情况下θ的条件PDF 后验概率 Bayes 估计（1） Bayes 估计（1）