参数估计理论与应用(第三章)题稿.ppt

第三章 参数估计理论与应用 第三章 参数估计理论与应用 3.1 参数估计的评价准则 3.2 基于统计分布的参数估计方法 3.3 基于模型的参数最小二乘估计 本章小结 在许多情况下，观测数据所服从的概率模型已知的，而 模型的未知部分是以未知参数形式出现的。 参数估计的基础是优化理论，即被估计的参数应该在某 种准则下是最优的，以及任何获得最优的估计。 非参数估计方法不假定观测数据服从某种特定的概率模 型。例如，频域上的谱估计与谱线拟合就是典型的非参数估 计方法。 3.1 参数估计的评价准则 参数估计是通过样本去估计总体的某些数字特征或统计量。任何一 个统计量都可作为参数的估计量，但其效果的优劣有所差别。 3.1.1 无偏性、有效性与相容性 （1）无偏性 设样本的总体分布密度函数为 p(x;θ), θ 是未知参数。从总体中抽取容量为 N 的样本 x={x1, …, xN }, 用样本的估计量 来估计θ，如果希望多次估计中，平均 的估计值没有偏差，即 则称 是θ的无偏估计量。 例3-1 样本均值是总体数学期望的无偏估计。 设x1, …, xN 是随机过程 {xk} 的N个独立观测样本，如果 参数θ是总体的数学期望E[x]，即用样本的均值 作为θ的估计量，对该估计量取期望值，有 一个无偏估计量在多次估计中将不会产生系统偏差，但 并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏 的，即 那么它仍然有可能是一个好的估计。 考虑实随机过程{xk}的相关函数的两种估计量： 假定数据{xk}是独立观测的，容易验证 式中，Rx(τ)=E[xk+τ xk] 是随机数据{xk}的相关函数。 以上二式表明，估计量 1(τ) 是无偏的，而 2(τ)则是 有偏的。但是， 2(τ)是渐进无偏的，即 渐进无偏估计量 2(τ)是半正定的，而无偏估计量 1(τ)却 不一定是半正定的，故 2(τ)的使用场合较多。 （2）有效性 如果 1 和 2 是两个根据N个独立观测样 本得到的无偏估计量，无疑地，对θ 的平均偏差较小是选择 的标准之一。例如，如果 则 1的值比 2 的值更密集地聚集在真值θ的附近。通常将方 差（或协方差阵）在所有的无偏估计量中达到最小的 称为 有效估计量。 例3-2 设x1,…,xN 是N个独立观测样本，若被估计参数 θ=E[x]，则对任何满足 都是θ的无偏估计量。利用不等式 可得 在估计总体的数学期望时，简单的算术平均比加权平均好。 （3）一致性 估计量的精度是与样本的容量 N 有关系 的。一般说来，总是认为N 越大估计的效果应该越好。如果 记依赖样本容量 N 的估计为 N ，当满足 则称 N 是θ的一致性估计量，或相容估计。 例3-3 设总体 x 具有均匀分布，分布密度为 其中，θ1 和θ2 是未知参数。 总体样本的均值和二阶矩分别为（严格按定义计算） 解得 按矩的估计方法，用独立样本的均值和独立样本的二阶 矩，分别作为总体均值和二阶矩的估计量，就有 下面说明 1 和 2 分别是θ1 和θ2 的相容估计。 设 y1,…,yN 是具有同分布的独立观测样本，根据大数定 律，有 令y=x2, 就有 于是 3.1.2 Fisher信息和Cramer-Rao不等式 通常希望获得有效的参数估计量。但是，由于不存在导 致最小方差无偏估计量的最佳算法，所以通常采用参数无偏 估计的Cramer-Rao下限(或CR下界), 作为评价参数估计性能 的测度。为了简洁叙述这一的评价测度，先定义一个重要的 概念。 Fisher 信息 Fisher 信息用J（θ）表示，定义为 （3.1.1） 当考虑 N 个观测样本 X={ x1,…,xN }, 此时，联合条件分 布密度函数可表示为 将式（3.1.1）中的p(x|θ)改为p(X|θ)就可给出N个样本 变量X的Fisher信息的表达式。 定理（Cramer-Rao不等式） 设观测样本X={ x1,…,xN }, 若参数估计 是真实参数θ 的无偏估计，并且条件分布密度 函数的p(X|θ) 对参数θ 的一、二阶偏导数存在，则有 （3.1.2） 参数 的方差所能达到的下限（称为CR下限），即上 式等号成立的充要条件是 其中, 函数K(θ)0，并与样本向量 X 无关。 当 为有偏估计量时，Cramer-Rao 不等式为 （3.1.3） 式中η(θ)为估计偏差，即η(θ)=E[ ]-