硕士生现信号处理 参数估计.ppt

2.5 线性最小均方误差(LMMSE)估计 1. 引言 MMSE准则下设计出的估计器通常非常复杂，不便于实现。 为便于实现，要求　与观测样本x之间满足线性关系，即： 　 为　　维的观测数据矢量； 　 是　　维待估计随机参数矢量； A和B分别是待求的　　维和　　系数矩阵。 2.5 线性最小均方误差(LMMSE)估计 2. 求解 均方误差MSE： 2.5 线性最小均方误差(LMMSE)估计 　　：x 的自协方差矩阵 　 ：　与 x 的互协方差矩阵 2.5 线性最小均方误差(LMMSE)估计 3. 几点说明 若　　　　，则 当　的先验信息未知时，通常假设　　　　因此LMMSE估计通常以上式的形式出现。 进一步，若　　　　，则LMMSE退化为如下形式： LMMSE估计的正交条件 2.5 线性最小均方误差(LMMSE)估计 　 LMMSE估计一般并不是MMSE估计。 LMMSE估计的应用条件： 已知观测数据与待估计参数的一阶与二阶统计量。 待估计参数能够较好地由观测数据的线性组合描述。 2.5 线性最小均方误差(LMMSE)估计 4. 线性模型下的LMMSE估计 若x与　可用线性模型来描述： 其中V 是零均值、协方差矩阵为CV的噪声矢量，且V与　不相关。则有　　　　　　及 于是　的LMMSE估计为 2.6 最小二乘估计（LSE） 1. 引言 应用场合： 数据的精确统计特性未知； 最佳估计器根本得不到或实际应用复杂。 应用条件： 信号 模型 确定信号 扰动 噪声 模型不准确 2.6 最小二乘估计（LSE）（续） 设计目标： 求　使模型的输出　　最接近观测数据 　　。接近程度由LS误差指标来衡量： 注：这里没有对　　做任何概率假设。 2.6 最小二乘估计（LSE）（续） 2. 线性最小二乘估计 变量定义： 令 解： 是　　　观测矩阵。 2.6 最小二乘估计（LSE）（续） 3. LSE的性质 当　　　，　　　　　时， i) LSE是无偏估计。 2.6 最小二乘估计（LSE）（续） 3. LSE的性质 ii)LSE的协方差矩阵 iii)若估计参数为　　 ,则　　　是对　 的最小方差线性无偏估计，即 　　　　　　 且 其中　是任何其它的对　的线性无偏估计。 （ Gauss-Markov定理 ）　 2.6 最小二乘估计（LSE）（续） 4. 线性加权LSE 问题： 若误差向量e的各分量具有不同的方差，或各分量之间相关时，　不再是最小方差估计。 解决方法：用非奇异矩阵D对e进行白化。 设已知　　　　　　，可知V是正定矩阵，于是有　　　　。令　　　，则D可对e　白化。 2.6 最小二乘估计（LSE）（续） 推导： 令 由于 可见 是白噪声。 因此　　　　　　　　　　是最小方差估计。　 令　　　　为加权矩阵，有 它使　　　　　　　　　　最小。 2.1 参数估计的基本概念（续） 6. 充分统计量(sufficient statistic) 设　　为观测数据的函数，　 　可分解为 其中　只通过　　与　有关，　与　无关。 则称　　为用于估计　的充分统计量。 2.1 参数估计的基本概念（续） i) 说明： 有了充分统计量　　，利用　　就可以估计出　　，而不再需要利用任何单个观测数据。即充分统计量包含了观测数据中关于　的全部信息。 2.1 参数估计的基本概念（续） ii) 例子： 设观测数据可表示为： 解： 为零均值、方差　 的高斯白噪声。 2.1 参数估计的基本概念（续） 可见　　　　 是估计A的充分统计量。 由 估计A的估计器为： 2.2 随机参数的Bayes估计 1. 引言 Bayes估计的基本思想: 把未知参数　看成随机变量，并要求平均估计风险最小。 代价函数的概念： 　　　； 它表明当估计值与实际值存在偏差时所带来的风险的大小。 2.2 随机参数的Bayes估计（续） 常用的代价函数： i) 绝对偏差 ii) 平方偏差 iii) 均匀函数 2.2 随机参数的Bayes估计（续） 代价函数示意图： 2.2 随机参数的Bayes估计（续） 2. 平均风险（代价函数） 定义： 2.2 随机参数的Bayes估计（续） 说明 （Ａ） （Ｂ）在估计环境给定时，即　　　　　给定时，风险函数仅与定义式中的　有关，更进一步只与估计器　有关。 （Ｃ） 要R达到最小，只要 达到最小。 2.2 随机参数的Bayes估计（续） 3. 不同代价函数下的Bayes估计 i) 代价函数为平方偏差的估计 使R最小即使MSE最小。代价为平方偏差的Bayes估计即为MMSE估计。 可转化为求使B取极小值