数理统计与随机过程5--参数估计课件.ppt

哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”，或“有效性准则”。 定理：均方误差可分解成两部分: 证明： 上式表明，均方误差由两部分构成：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。 注意：如果一个估计量是无偏的，则第二部分是零，则有: 如果两个估计都是无偏估计，这时哪个估计的方差小，哪个估计就较优。这种判定估计量优劣的准则称为方差准则。 例5：设 X1, X2, …, Xn 为抽自均值为 ? 的总体,考虑 ? 的如下两个估计的优劣： 我们看到: 显然两个估计都是? 的无偏估计。计算二者的方差： 这表明：当用样本均值去估计总体均值时，使用全样本总比不使用全样本要好。 用估计量 估计?， 7.3.2 相合性 若对任意的??? 都有n??时， 依概率收敛于?，则称 为? 的相合估计量。 即要求： 样本k阶矩是总体k阶矩的相合估计量，如果未知参数可表达为总体k阶矩的连续函数，则矩估计得到的一定是相合估计量。 相合性要求： 无偏性要求： 有何区别与联系？ * * * * * * * * * * * * * * * * * * * * * * * 兰州大学信息科学与工程学院 主讲: 路永钢 E-mail: ylu@lzu.edu.cn 寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘估计 4. 贝叶斯估计 3、 最小二乘估计 从总体中抽出的样本观察值与总体平均数是有差异的，这种差异属于抽样误差。因而，在参数估计时要尽可能地降低这种误差，使总体估计值尽可能好。 参数估计的最小二乘法就是基于这种考虑提出的。 具体方法是为使误差平方和Q为最小，可通过求Q对待估参数的偏导数，并令其等于0，以求得参数估计量。 一般地，若m个随机变量x1、x2、x3、…、xm与随机变量y存在统计模型关系 其中， 为待估参数。 通过n次观测(n＞k)得到n组含有x1i , x2i ,…xmi , yi ( i=1,2,…,n )的数据以估计 。 其最小二乘估计值为使 为最小的 。 这种估计方法称为参数估计的最小二乘法。 [例] 用最小二乘法求总体均值 ? 的估计量。 若从均值为 ? 的总体中抽得样本为y1、y2、y3、…、yn，则观察值可剖分为总体均值与误差 ei 之和， 总体均值的最小二乘估计量就是使 yi 与均值估计量间的误差平方和为最小，即 为最小。 为获得其最小值，求Q对?的导数，并令导数等于0，可得： 即得总体均值的估计量为： 这与矩法估计以及最大似然估计都是一致的。 4、Bayes估计 最大似然估计和Bayes估计区别 两种方法估计的参数的结果接近，但过程有区别： 最大似然估计将未知参数看成是确定变量，在实际样本观察的概率最大的条件下，获得未知参数的最好的估计； Bayes估计将未知参数看成是按某种分布得随机变量，样本的观察结果由先验分布转化为后验分布，再由后验分布修正参数的估计值。 对于平方误差损失函数，求解Bayes估计量的步骤为： （1）确定?的先验分布p(?)； （2）由样本集 H={x1,x2,…,xN} 求出样本联合分布 p(H|?) （3）求?的后验分布 （4） 求?的条件期望 正态分布的Bayes估计示例 Bayes估计是把参数 ? 看成为随机的未知参数。样本通过似然函数 p(H|?) 并利用Bayes公式将 ? 的先验分布 p(?) 转化为后验分布。 现以单变量正态分布为例，假定方差?2已知，估计均值?。 总体分布密度和参数的先验分布为： ……………形式已知 …………………………先验分布已知 代入正态分布，得： x的均值 比较两式，可得： 解上面的方程组，得： 最后一步：求?的条件期望，得?的最小方差Bayes估计： 都是假设知道概率密度的形式，去估计参数。 都需要从一组已知分类的样本H来估计参数。 最大似然估计： 求使P(H|?)最大的参数? Bayes估计: 最小方差估计: Bayes估计将未知参数看成是按某种分布得随机变量，并利用Bayes公式将 ? 的先验分布 p(?) 转化为后验分布： 这样