信号检测与估计.pptx

Chapter 6 Parameter Estimation 成员：董春波 马和峰 李聘婷 目 录 6.1 最大似然估计 6.2 广义似然比检验 6.3 优良估计评价标准 6.4 贝叶斯估计 6.5 Cramer-Rao不等式 6.6 多参数估计 6.7 最佳线性无偏估计 6.8 最小二乘估计 6.9 递归最小二乘估计 序言 在第5章中，我们学习了关于检测理论的问题，主要是解决在M个可能的假设中来确定哪个假设是正确。 本章主要介绍假设接受的信号是正确的，但是有些相关联的参数是未知的，主要的目的就是利用有限的样本参数用最佳的方式估计这些参数。 令Y1，Y2，...，YK为K个独立同分布的随机变量Y的样本，其密度函数取决于未知参数θ。 y 1，y 2，...，y K为样本Y1，Y2，...，YK所对应的值，函数 g（Y1，Y2，...，YK）用来估计参数θ。 表示为 称为参数θ的估计。 通常，估计的参数可以是随机的或非随机的。 随机参数的估计被称为贝叶斯估计，而非随机参数的估计被称为最大似然估计（MLE）。 6.1 最大似然估计 如在前面的函数中所提到的，通常用最大似然（ML）估计来估计非随机参数。 令Y1，Y2，...，YK具有样本值y 1，y 2，...，y K的随机变量Y的K个观测值，并且这些随机变量是独立同分布的。令 表示随机变量Y的条件密度函数。Y的密度函数取决于需要估计的参数θ， 记最大似然函数为L(θ)，式6.1.1 (6.1.1) 似然函数最大的值 称为θ的最大似然估计量。为求最大似然估计量，我们利用数学中所学的微积分。为了计算简单，利用对数函数，由于对数函数lnx是关于变量x的递增函数，由第五章可知最大化L(θ)与ln(L(θ))等价。可以用最大似然函数的对数函数式求解，对参数θ求导数可以求的最大似然估计量。如式6.1.2 (6.1.2) 不变性：令L(θ)是θ的似然函数,并且g(θ)是参数θ一一对应的函数，即g(θ1)=g(θ2) θ1=θ2 如果 是参数θ的最大似然估计量，则 是g(θ)最大似然估计量。 6.1 最大似然估计 Examle6.1 the received signal under hypotheses H1 and H0 was (a) Assuming the constant m is not known, obtain the ML estimate of the mean. (b) Suppose now that the mean m is known, but the variance σ 2 is unknown. Obtain the MLE of θ = σ 2 . 在第五章中，是确定假设中的那个假设是真的。而在本章中，假设H1是真的，参数是未知的需要用最大似然估计来估计。 (a) 在例题中需要确定的参数 对应为 ，m∈M,由于样本参数是独立同分布的，由式6.1.1得似然函数： 6.1 最大似然估计 等式两边同取对数得 利用式6.1.2 解似然方程得到似然估计得 得到 。 Thus, the ML estimator is 6.1 最大似然估计 (b) 最大似然估计式为 方程两边取对数得 其中对lnL(σ 2)最大化等价于对σ 2最小化 由似然函数的不变性得 6.1 最大似然估计 因此，σ 2的最大似然估计为 6.2 广义似然比检验 在例5.9中，我们解决了复合假设检验问题。参数m在假设H1下虽然已知m是正或负，但是值是未知。 当m仅为正值（仅为负值）时，在UMP测试，判决规则为 m0时 m0时 由于设置参数m的正负致使实验结果不同，因此，对所有的参数m，UMP测试是不行的。因此运用了上节所讲的最大似然估计。也就是说，假设