参数估计理论与应用(第三章 )课件.pptVIP

第三章 参数估计理论与应用; 在许多情况下，观测数据所服从的概率模型已知的，而 模型的未知部分是以未知参数形式出现的。 参数估计的基础是优化理论，即被估计的参数应该在某 种准则下是最优的，以及任何获得最优的估计。 非参数估计方法不假定观测数据服从某种特定的概率模 型。例如，频域上的谱估计与谱线拟合就是典型的非参数估 计方法。 ;3.1 参数估计的评价准则; 例3-1 样本均值是总体数学期望的无偏估计。 设x1, …, xN 是随机过程 {xk} 的N个独立观测样本，如果 参数θ是总体的数学期望E[x]，即用样本的均值 作为θ的估计量，对该估计量取期望值，有 一个无偏估计量在多次估计中将不会产生系统偏差，但 并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏 的，即 ;那么它仍然有可能是一个好的估计。 考虑实随机过程{xk}的相关函数的两种估计量： 假定数据{xk}是独立观测的，容易验证 式中，Rx(τ)=E[xk+τ xk] 是随机数据{xk}的相关函数。 以上二式表明，估计量 1(τ) 是无偏的，而 2(τ)则是 有偏的。但是， 2(τ)是渐进无偏的，即;θ=E[x]，则对任何满足 都是θ的无偏估计量。利用不等式 可得 在估计总体的数学期望时，简单的算术平均比加权平均好。 （3）一致性 估计量的精度是与样本的容量 N 有关系 的。一般说来，总是认为N 越大估计的效果应该越好。如果 记依赖样本容量 N 的估计为 N ，当满足; 则称 N 是θ的一致性估计量，或相容估计。 例3-3 设总体 x 具有均匀分布，分布密度为 其中，θ1 和θ2 是未知参数。 总体样本的均值和二阶矩分别为（严格按定义计算） 解得 ; 按矩的估计方法，用独立样本的均值和独立样本的二阶 矩，分别作为总体均值和二阶矩的估计量，就有 下面说明 1 和 2 分别是θ1 和θ2 的相容估计。 设 y1,…,yN 是具有同分布的独立观测样本，根据大数定 律，有 令y=x2, 就有 ;于是 3.1.2 Fisher信息和Cramer-Rao不等式 通常希望获得有效的参数估计量。但是，由于不存在导 致最小方差无偏估计量的最佳算法，所以通常采用参数无偏 估计的Cramer-Rao下限(或CR下界), 作为评价参数估计性能 的测度。为了简洁叙述这一的评价测度，先定义一个重要的 概念。 Fisher 信息 Fisher 信息用J（θ）表示，定义为 （3.1.1）; 当考虑 N 个观测样本 X={ x1,…,xN }, 此时，联合条件分 布密度函数可表示为 将式（3.1.1）中的p(x|θ)改为p(X|θ)就可给出N个样本 变量X的Fisher信息的表达式。 定理（Cramer-Rao不等式） 设观测样本X={ x1,…,xN }, 若参数估计 是真实参数θ 的无偏估计，并且条件分布密度 函数的p(X|θ) 对参数θ 的一、二阶偏导数存在，则有 （3.1.2） 参数 的方差所能达到的下限（称为CR下限），即上 式等号成立的充要条件是; 其中, 函数K(θ)0，并与样本向量 X 无关。 当 为有偏估计量时，Cramer-Rao 不等式为 （3.1.3） 式中η(θ)为估计偏差，即η(θ)=E[ ]-θ，并假定b(θ)是可 微分的。 对于多个参数的情况，记θ={θ1，…，θp}，则用矩 阵J(θ) 表示Fisher信息，其元素Jij(θ) 定义为 （3.1.4） ;且Cramer-Rao不等式变为矩阵不等式： （3.1.5） 上式表示无偏估计量的协方差矩阵cov( )与逆Fisher信息阵 之差是一半正定矩阵。 Fisher信息是描述从观测数据中得到的θ 的 “信息” 测 度，它给出利用观测数据估计参数θ的方差下界。但是，满 足这一下界的估计量有的时候可能不存在。 3.2 基于统计分布的参数估计方法 参数估计量的优劣取决于所采用的评价准则（或代价函 数）和估计算法。现在介绍已知总体统计分布的两种最有效 的参数估计方法：Bayes 估计和最大似然估计。;3.2.1 Bayes 估计 在参数估计中，估计误差θ - 通常不为零。因此，除了 采用前面介绍的无偏、有效和相容估计作为评价准则外，还 可以利用估计误差的变化范围作为参数估计的测度，这种测 度叫做代价函数，用符号C( ,θ)表示。常用的代价函数有 绝对型、二次型和均匀型三种。; 本节仅介绍最常用的二次型代价函数，即 当总体的分布密度函数p(X|θ)已知时，利用X={ x1,…,xN } 进行参数估