ch4统计信号处理基础-估计理论.pptx

统计信号处理基础

—估计理论

n上次课的回顾

nMLE

nMLE的性质

nMLE的数值确定n小结与应用实例

内容提要

n线性模型－LM

n一般MVU估计－RBLS

n最佳线性无偏估计－BLUE

上次课的回顾

Reviewofthelastlecture

定理4.2如果观测数据可以表示为:

x=Hθ+s+w

其中x是N×1的观测矢量,H是已知的N×p（Np）观测矩阵,秩为p。θ是p×1的待估计的参数向量，s是N×1的已知信号样本矢量,w是N×1的噪声矢量,并且PDF为N(0,C),则MVU估计为:

=(HTC－1H)−1HTC－1(x-s)

协方差矩阵为

C=(HTC－1H)−1

θ

ˆ

θ

ˆ

一般线性模型的MVU

对于一般的线性模型,MVU估计量是有效的，它达到了CRLB

Reviewofthelastlecture

定理5.1（Neyman-Fisher因子分解）如果我们能够将PDF分解为

p(x;θ)=g(T(x),θ)h(x)(5.3)

其中g为仅通过T(x)才与x有关的函数，h是仅依赖于x的函数，那么T(x)是θ的充分统计量。反过

来，如果T(x)是θ的充分统计量，那么PDF可以分解为上式。

理解：若诸样本随机变量的联合概率密度函数可以分解为某统计量的密度函数与某一完全不含参数的函数之乘积，那么该统计量必是该参数的充分统计量，反之亦然。

Neyman-Fisher因子分解定理

Reviewofthelastlecture

定理5.2（Rao-Blackwell-Lehmann-Scheffe）如果是θ的无偏估计量，T(x)是θ的充分统计量，那么

是：

1.θ的一个适用的估计量（与θ无关）；

2.无偏的；

3.对于所有的θ,它的方差要小于或等于的方差

另外，如果充分估计量是完备的，那么是MVU估计量。

θ

^

RBLS定理

Reviewofthelastlecture

定理6.1高斯-马尔可夫定理

如果数据具有线性模型的形式，即x=Hθ+w，

H是已知的N×p矩阵，θ是p×1的待估计参数矢量，w是N×1的均值为零，协方差为C的噪声矢量，则

θ的BLUE是：=(HTC-1H)-1HTC-1x(6.19)

的最小方差为：var()=[(HTC-1H)-1]ii(6.20)

的协方差矩阵为：C=(HTC-1H)-1(6.21)

θ

ˆ

θ

ˆ

θi

ˆ

θi

ˆ

θ

ˆ

BLUE

Reviewofthelastlecture

n基于最大似然原理的估计，是人们获得实用估计的最通用的方法。该方法在MVU估计量不存在或者存在但不能求解的情况下是很有效的。

利用它可以简便地实现对复杂的估计问题的求解。

n对于绝大多数适用的最大似然估计，当观测数据足够多时，其性能是最优的，非常接近于

MVU估计量。

n几乎所有适用的估计都是基于最大似然原理。

最大似然估计

Maximumlikelihoodestimation

最大似然估计

A为正的未知电平，w[n]具有未知方差A

例7.1：高斯白噪声中的DC电平－修正

CRLB

我们需要找到一个函数g使满足：

A的一个充分统计量是：

考虑充分统计量理论

如何选择g是不清楚的？

当是任意一个无偏估计量时，需要确定条件数学期望

比如时，看起来是一个艰巨的任务？

计算条件数学期望的难度看起来非常大

由于：

满足(7.4)式的估计量称为渐进无偏估计；如果该估计又满足

(7.5)式，则称为渐进有效估计。对于有限长度的数据记录，其最佳性是有保证的。也许还存在比这更好的估计量，但要找到它可能颇费周折。

因为无法求解MVU估计量，因此我们提出一种准最佳估计量，

当观测数据记录足够多或者当N→∞时，这种估计量是有效的，

E()→A

var()→CRLB

A

ˆ

A

ˆ

(7.4)

(7.5)

n最大似然估计常用来估计未知的非随机参量，它定义为使似然函数最大的θ值作为估计量。

n对于未知非随机被估计量θ,观测矢量x的概率密度函数p(x;θ)，称之为似然函数。

n最大似然估计的基本原理是对于某个选定的θ,考虑x落在一个小区域内的概

率p(x;θ)dx，取p(x;θ)dx最大的那个对应的L作为估计量。

θM

ˆ

最大似然估计原理

n根