参数统计推断方法讲义.ppt

参数统计 与概率论相比，统计的重要特点在于分布的不确定性。实际中，在得到样本以后，我们最关心的问题之一便是想知道是分布族中的哪一个分布产生此样本，即要从样本推断总体分布或其各种特征数。英国著名统计学家R.A.Fisher 把统计推断归纳为三个方面：抽样分布、参数估计、假设检验。 什么是参数估计问题 参数的点估计 估计的优良性 估计的概念相当广泛，任何人都可以给出估计，如果不对估计的好坏加以明确，估计是没有意义的。下面介绍估计的好坏标准。 　估计量的评选标准 对于总体的同一个未知参数，由于采用的估计方法不同，可能会产生多个不同的估计量。这就提出了一个问题，当总体的同一个参数存在不同的估计量时，究竟采用哪一个更好？这涉及到用什么样的标准来评价估计量的好坏问题，对此，我们介绍几个常用的评价标准：无偏性、有效性和一致性。 无偏性体现了一种频率思想。只有在大量重复使用时，无偏性才有意义。如估计某批产品的合格率 p ，从中抽取n个产品进行检查，发现有X个合格。容易验证，在假定X服从二项分布下，X/n是p 的无偏估计。然而对一次具体观测值x来说，x/n要么等于p,要么不等于p,此时无偏性显得没有意义。若问题改为某一工厂每天都对其生产的产品进行抽检，假定生产过程相对稳定，则估计的无偏性要求便是合理的。比如用X/n估计p,对每一天而言，该估计可能偏大也可能偏小，但在一段较长的时期内，x/n平均来说在p的周围， 如何找出参数的估计方法 矩法、极大似然方法和最小二乘法是寻找参数点估计的三种主要方法。 矩是基于一种简单的“替换”思想建立起来的一种估计方法，它由K.Pearson在20世纪初提出，其基本思想是用样本矩估计总体矩。 理论依据：大数定律 最小二乘估计---常见于线性模型 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 法国科学家勒让德于1806年独立发现最小二乘法，但因不为时人所知而默默无闻。 勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。 1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。 最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小 最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。　　最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 * * X~P(λ),X~E(λ),X~N(μ,σ2) 用所获得的样本值去估计参数取值称为参数估计. 参数估计 点估计 区间估计 用某一数值作为参数的近似值 在要求的精度范围内指出参数所在的区间 参数估计的基本思想 　无偏性 在评价一个估计量的好坏时,我们当然希望估计量与被估参数越接近越好.但估计量是一个随机变量,它的取值随样本的观测值而变,有时与被估参数的真值近些,有时远些,我们只能从平均意义上看估计量是否与被估参数尽量接近,最好是等于被估参数.于是有无偏估计量的概念. 　有效性 一个参数的无偏估计量不是唯一的,假若参数θ有两个无偏估计量 ,我们认为其观测值更密集在参数θ真值附近的一个较为理想.由于方差是随机变量取值与其数学期望的偏离程度的度量,所以无偏估计以方差小者为好.这就引出了估计量的有效性这一概念. 　一致性 估计量的无偏性和有效性都是在样本容量固定的前提下提出的.我们自然希望随着样本容量的增大,一个估计量的值稳定于待估参数的真值.这就对估计量提出了一致性的要求. 矩估计法的具体步骤 设总体 X 的分布函数 中含有 个未知参数 ，假定总体 X 的前 阶矩 存在， 则可通过下列步骤求 未知参数的矩估计量: (1) 求总体 X 的前 阶矩 若总体 X 是离散型随机变量，其分布律为： 则： 则： 总之， 是参数 的函数， 记为： 若总体 X 是连续型随机变量，其密度函数为： (2) 由（*）式解出