信号检测与估计-第5讲LS与Moments.pdf

统计信号处理基础 — 估计理论 杨文 电子信息学院 测绘校区教学实验大楼十楼1008室 E-mail: yw@eis.whu.edu.cn 内容提要 上次课的回顾 上次课的回顾 最小二乘估计（LSE） 最小二乘估计（LSE） 矩估计(ME) 矩估计(ME) 小结与应用实例 小结与应用实例 Review of the last lecture Review of the last lecture 上次课的回顾 MLE介绍 MLE介绍 MLE的性质 MLE的性质 MLE的数值确定 MLE的数值确定 线性模型的MLE 线性模型的MLE 最大似然估计原理 最大似然估计常用来估计未知的非随机参 最大似然估计常用来估计未知的非随机参 θ 量，它定义为使似然函数最大的 值作为估 量，它定义为使似然函数最大的 值作为估 计量。 计量。 对于未知非随机被估计量 ，观测矢量 的 对于未知非随机被估计量 ，观测矢量 的 θ x 概率密度函数 p (x;θ) ，称之为似然函数。 概率密度函数 ，称之为似然函数。 最大似然估计的基本原理是对于某个选定 最大似然估计的基本原理是对于某个选定 的θ ，考虑 落在一个小区域内的概 的 ，考虑 落在一个小区域内的概 x 率p (x;θ)d x，取p (x;θ)dx 最大的那个对应 率 ，取 最大的那个对应 的 ˆ 作为估计量 。 的θ 作为估计量 。 ML 最大似然估计量的构造 根据最大似然估计原理，如果已知似然函 根据最大似然估计原理，如果已知似然函 ˆ p (x;θ) 数 , 那么最大似然估计量 可由方程 数 , 那么最大似然估计量θML可由方程 ∂p (x;θ) ∂ln p (x;θ) ˆ 0 or ˆ 0 θ θ θ θ ∂θ ML ∂θ ML 解得，该方程称为最大似然方程。 解得，该方程称为最大似然方程。 最大似然估计也适用于随机参量 θ，但主要是对 最大似然估计也适用于随机参量 ，但主要是对 于不知道先验PDF情况的估计。或者在随机参量 于不知道先验PDF情况的估计。或者在随机参量 情况下，虽然知道被估计量的先验PDF但不用， 情