4现代信号处理参数估计解析.ppt

随机信号处理 三、参数估计： 　许多信号处理问题都归结为参数估计。 　　从—般层义理解，估计理论所研究的对象是随机现象，它是根据受到噪声污染的观测数据来估计关于随机变量或随机过程的一种数学运算。 　　若被估计量是随机变量。则称为参量估计；若被估计的是随机过程，则称为状态或波形估计。 随机信号处理 三、参数估计： 　　因此，参量估计一般指静估计。参量随时间保持不变或只发生缓慢变化；状态或波形估计一般指动态估计，参量是随时间变化的。 　　 对于估计问题，从被估计的量来说，可以分为： 　　(1)确定的与随机的； 　　(2)数量的与矢量的； 　　(3)不随时间变化的与随时间变化的。 　　通常对前一种估计称为静态估计，而对后一种估计称为动态估计。这两部分有机地结合起来，构成统了估计理论。 随机信号处理 三、参数估计： 1、基本概念（在折衷考虑下，尽量满足无偏性、有效性及一致性） ★估计值： 　　估计值　需要由观测数据Z1，Z2 ，…ZN来决定，故　是观测数据的函数，且与Ｎ相关。估计值　有以下含意： (1)估计值　是观测值Z1，Z2 ，…ZN的一个函数，因此，构造一个估计值就是规定这一函数关系． (2)规定了一个函数关系，便得到一个估计值。 随机信号处理 三、参数估计： 1、基本概念 ★偏倚(Bias)： 用θ表示随机变量的真值， 表示它的估计值，则称：　 为θ的偏倚。 ▲无偏：若偏差B等于零或 ，即估计值的期望值等于真实参数。 ▲渐近无偏：当样本长度N→∞时，偏差B→0。 ▲估计的均方误差：估计 与真实参数θ的误差平方的期望值，即 ▲均方误差、方差、偏差的关系： 随机信号处理 三、参数估计： 1、基本概念 ★有效性： 　　如果　与　都是θ的无偏估计值，对任意Ｎ， 若　　　　　　　　，则　比　有效。 　　相对有效性：当记 若RE1则称： 比 有效。 随机信号处理 三、参数估计： 1、基本概念 ★一致性： 一个估计值即使是无偏的且方差较小也还不够，还要求样本容量N→∞时，估计值　无限地靠近真值θ ，则　称为θ的一致估计量． ▲N→∞时，估计值　在概率意义上收敛于θ ， 即 ▲N→∞时，估计值　在均方意义上趋向于θ ， 即 　　是一致估计量的充分必要条件为：随着Ｎ的增加，偏倚与方差均都应趋于零。 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★许瓦兹(Schwatz)不等式： ★Cauchy—Schwatz不等式： ★契比雪夫不等式(Chebyshev)： 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★Parseval恒等式 　★欧拉公式 ★希尔伯特变换 ★三角函数级数的封闭式 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★Poisson和公式: ★卡亨南一洛维(Karhunen—Loeve)展开式： 其中 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★克拉美－罗（Cramer—Rao）不等式： （利用Cauchy—Schwatz不等式证明） 　　若 　是一样本　的条件密度函数，而　是　一个无偏估计且 　存在，则： 式中 若要等式成立，则　　　　　　　　　 其中：　　为 的某个不包含 的正函数。 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★定义： 　　若无偏估计　达到克拉美－罗（Cramer—Rao）下界，则称　为优效估计。 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★克拉美－罗（Cramer—Rao）下界例： 　　一观测过程由　　　　　　定义，其中　是一个未知的常数参数，而　　是高斯白噪声，均值为零，方差为　，若　是根据　　　　　　得到的参数估计值，求其估计方差的Cramer—Rao下界。 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★克拉美－罗（Cramer—Rao）下界例： 解：由于　　为零均值高斯白噪声，而　是常数，所以　　　　　　　也为高斯白噪声，均值为　。 　　的概率密度为： 其似然函数　　　　关于参数　的二阶导数为： 随机信号处理 三、参数估计： 2、几个不等式、等式、定理 ★克拉美－罗（Cramer—Rao）下界例： 由Cramer—Rao下界定义： 可得：估计子　的估计方差的Cramer—Rao下界： 随机信号处理 三、参数估计： 3、贝叶斯估计(B