参量估计.docVIP

第五章 参数估计 信号估计（Estimations）理论： 在受噪声干扰的观测信号中，由观察估计信号的某些参数（如幅值、频率、延迟时间等）的问题，参数估计问题。参数估计问题包括参数估计问题和波形估计问题，其数学基础：分别为统计估计理论、滤波理论。 估计理论——研究的对象是随机现象。估计理论根据受到噪声污染的观测数据来估计随机变量和随机过程的一种数学运算。包括参数估计和波形估计理论： 参量估计－被估计的量是随机变量（静态估计） 波形估计－被估计的量是随机过程（动态估计） §5.1 概述 数理统计中由随机信号的一组样本估计信号的统计特征，如均值、方差、均方、相关函数、功率谱等，是一种简单而常见的参数估计。 在数理统计中，均值、均方和方差的估计是按照定义，用有限个样本采用直接估计法来估计。具体方法例如： 均值定义： 均值估计： 均方定义： 均方估计： 方差定义： 方差估计： 式中xi为观察样本。 设观察x=x1,x2,...,xN为随机变量s的独立同分布的N个观测样值，x=s(a)+n，a为信号的参数，而f(x1,x2,...,xN)是用来估计参量a的观测样值函数（统计量），称： ＝f(x1,x2,...,xN) 为参量a的估计量。 的均值即为 E[ ]=E[ f(x1,x2,...,xN) 。 要求通过一定的估计算法，使得 为按某一判据的a的最优估计值，比如使得估计误差均方最小为最小均方误差估计。 §5.1.1 估计算法分类一、非线性估计——已知待估参数的先验概率p(a)和条件先验概率p(x|a)，依据某些最优判据，通过非线性数理统计算法估计参数； 随机参量－其特性用概率密度来表征－贝叶斯估计 非随机参量－仅为一般的未知量－最大似然估计 非线性估计方法经典，计算复杂，估计质量较好，但是要求先验概率知识。 二、线性估计——在估计参数a为观察值x的线性函数，基于最小均方误差准则进行估计。 前提条件：估计 必须是观察值x的线性函数。 线性估计方法计算简便，只要求一、二阶统计知识，故先验知识要求低，估计质量较差，近年来发展较快。 §5.1. 估计 无偏估计——如果待估计参数a和它的估计值 的均值 E( )相等，即E( )=a，就称为无偏估计，否则称为有偏估计。 2、估计方差：表示各次估计值相对于估计值的均值的分散程度，估计方差越小，各次估计值就越集中于估计值均值附近。 3、估计值的均方误差 估计偏差越小，则各次估计值的均值接近于真实值，但并不能保证每次估计值都接近于真实值，而且各次估计值可能分布很分散；而估计方差很小，表明估计值都接近于均值，即 分布很集中，但并不能保证均值E( )接近于真实值，也就是不能保证各个 集中分布于真实值a附近。 因此，只有估计偏差和估计方差同时趋于0，才能保证该次估计得到足够准确的估计值。实际上，常常将估计偏差和方差结合起来的综合量表示估计质量的好坏，即估计值的均方误差。 4、一致估计：如果随着样本数目的增加，估计的均方误差趋于0，即要求当N→+∞时，偏差和方差都趋于0，则称此估计为一致估计 如果该估计同时又是无偏的，则为均方误差最小的估计。 §5.2 非线性估计 包括贝叶斯估计和极大似然估计两种类型。 随机参量－其特性用概率密度来表征－贝叶斯估计 非随机参量－仅为一般的未知量－最大似然估计 §5.2.1 贝叶斯估计 准则：对不同的估计结果给出不同的代价，并使代价最小。 贝叶斯估计是将贝叶斯判决理论，推广到对随机参量估计的贝叶斯估计理论。代价函数C 若是一参量，可在参量空间Ω中取值； 若是估计量，可在判决空间A中取值。 称C(,)是代价函数，它是和的实值函数，且满足下列两个条件： ⑴ C(s, )≥0，对所有的 ⑵对应于每个,在A中有一个最小的。 风险函数(Risk function) △ 贝叶斯估计－使风险函数最小的估计。 由于估计误差决定估计问题中估计质量的好坏，所以，通常仅对估计值与真实值之差感兴趣。若考虑误差函数的代价，这时C可定义为的单变量函数，有下列三种情况： (a) 平方误差 (b) 绝对值误差 (c) 均匀代价函数 贝叶斯判据：平均代价最小，即 E(c)=min。 由于c是 的函数，而又是观察值x的函数，所以c就是x和s的联合函数，所以有： 令： ，R称为条件风险函数。 下面针对三种代价函数分三种情况探讨估计准则： 情况(a)： 平方误差情况下，风险函数最小的估计量称为最小均方估计(minimum mean square estimation) 其风险函数为： 由于： 则风险函数为： ∵p(x)≥0故RMS最小即等效