参数估计理论与应用第三章.pptVIP

; 在许多情况下，观测数据所服从的概率模型已知的，而 模型的未知部分是以未知参数形式出现的。 参数估计的基础是优化理论，即被估计的参数应该在某 种准则下是最优的，以及任何获得最优的估计。 非参数估计方法不假定观测数据服从某种特定的概率模 型。例如，频域上的谱估计与谱线拟合就是典型的非参数估 计方法。 ;3.1 参数估计的评价准则; 例3-1 样本均值是总体数学期望的无偏估计。 设x1, …, xN 是随机过程 {xk} 的N个独立观测样本，如果 参数θ是总体的数学期望E[x]，即用样本的均值 作为θ的估计量，对该估计量取期望值，有 一个无偏估计量在多次估计中将不会产生系统偏差，但 并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏 的，即 ;那么它仍然有可能是一个好的估计。 考虑实随机过程{xk}的相关函数的两种估计量： 假定数据{xk}是独立观测的，容易验证 式中，Rx(τ)=E[xk+τ xk] 是随机数据{xk}的相关函数。 以上二式表明，估计量 1(τ) 是无偏的，而 2(τ)则是 有偏的。但是， 2(τ)是渐进无偏的，即; 渐进无偏估计量 2(τ)是半正定的，而无偏估计量 1(τ)却 不一定是半正定的，故 2(τ)的使用场合较多。 （2）有效性 如果 1 和 2 是两个根据N个独立观测样 本得到的无偏估计量，无疑地，对θ 的平均偏差较小是选择 的标准之一。例如，如果 则 1的值比 2 的值更密集地聚集在真值θ的附近。通常将方 差（或协方差阵）在所有的无偏估计量中达到最小的 称为 有效估计量。 例3-2 设x1,…,xN 是N个独立观测样本，若被估计参数;θ=E[x]，则对任何满足 都是θ的无偏估计量。利用不等式 可得 在估计总体的数学期望时，简单的算术平均比加权平均好。 （3）一致性 估计量的精度是与样本的容量 N 有关系 的。一般说来，总是认为N 越大估计的效果应该越好。如果 记依赖样本容量 N 的估计为 N ，当满足; 则称 N 是θ的一致性估计量，或相容估计。 例3-3 设总体 x 具有均匀分布，分布密度为 其中，θ1 和θ2 是未知参数。 总体样本的均值和二阶矩分别为（严格??定义计算） 解得 ; 按矩的估计方法，用独立样本的均值和独立样本的二阶 矩，分别作为总体均值和二阶矩的估计量，就有 下面说明 1 和 2 分别是θ1 和θ2 的相容估计。 设 y1,…,yN 是具有同分布的独立观测样本，根据大数定 律，有 令y=x2, 就有 ;于是 3.1.2 Fisher信息和Cramer-Rao不等式 通常希望获得有效的参数估计量。但是，由于不存在导 致最小方差无偏估计量的最佳算法，所以通常采用参数无偏 估计的Cramer-Rao下限(或CR下界), 作为评价参数估计性能 的测度。为了简洁叙述这一的评价测度，先定义一个重要的 概念。 Fisher 信息 Fisher 信息用J（θ）表示，定义为 （）; 当考虑 N 个观测样本 X={ x1,…,xN }, 此时，联合条件分 布密度函数可表示为 将式（）中的p(x|θ)改为p(X|θ)就可给出N个样本 变量X的Fisher信息的表达式。 定理（Cramer-Rao不等式） 设观测样本X={ x1,…,xN }, 若参数估计 是真实参数θ 的无偏估计，并且条件分布密度 函数的p(X|θ) 对参数θ 的一、二阶偏导数存在，则有 （） 参数 的方差所能达到的下限（称为CR下限），即上 式等号成立的充要条件是; 其中, 函数K(θ)0，并与样本向量 X 无关。 当 为有偏估计量时，Cramer-Rao 不等式为 （） 式中η(θ)为估计偏差，即η(θ)=E[ ]-θ，并假定b(θ)是可 微分的。 对于多个参数的情况，记θ={θ1，…，θp}，则用矩 阵J(θ) 表示Fisher信息，其元素Jij(θ) 定义为 （） ;且Cramer-Rao不等式变为矩阵不等式： （） 上式表示无偏估计量的协方差矩阵cov( )与逆Fisher信息阵 之差是一半正定矩阵。 Fisher信息是描述从观测数据中得到的θ 的 “信息” 测 度，它给出利用观测数据估计参数θ的方差下界。但是，满 足这一下界的估计量有的时候可能不存在。 3.2 基于统计分布的参数估计方法 参数估计量的优劣取决于所采用的评价准则（或代价函 数）和估计算法。现在介绍已知总体统计分布的两种最有效 的参数估计方法：Bayes 估计和最大似然估计。;3.2.1 Bayes 估计