矩法与极大似然法的合理性及比较分析.docVIP

矩法与极大似然法的 合理性及比较分析 矩法与极大似然法的合理性及比较分析 摘要: 皮尔逊所引入的矩法是较早提出的求参数点估计的方法。我们从辛钦大数定律知道，若总体ξ的数学期望E(ξ)有限，则样本的平均值依概率收敛于E（ξ）。这就启示我们想到，在利用样本所提供的信息来对总体ξ的分布函数中未知参数作估计时，可以用样本矩作为总体矩的估计。 费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法，以后将会知道，这种估计方法，是利用总体ξ的分布函数F（x；）的表达式及样本所提供的信息，建立未知参数的估计量（）。 极大似然法的想法同矩法一样也是直观的。今举一个通俗的例子：有两位同学一起进行实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。又举一例；有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了，试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。 1、 参数估计 1.1、极大似然法 一、基本概念： 求未知参数点估计的一种重要方法。思路是设一随机试验已知有若干个结果Ａ，Ｂ，Ｃ，…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。 　　 对总体参数的估计分两种——点估计和区间估计。在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。从矩估计法公式我们得到,对正态总体N(μ, σ2)，未知参数μ的矩估计,σ2的矩估计为sn2； μ, σ2的极大似然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价．除此之外，亦可以根据问题的实际意义进行判定. 二、极大似然思想 一般地说，事件与参数有关，取值不同，则也不同．若发生了，则认为此时的值就是的估计值．这就是极大似然思想．看一例子： 例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率． 分析：易知的值无非是1/4或3/4．为估计的值，现从袋中有放回地任取3只球，用表示其中的黑球数，则．按极大似然估计思想，对的取值进行估计． 解：对的不同取值，取的概率可列表如下: ０ １ ２ ３ 故根据极大似然思想即知：． 在上面的例子中，是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则就最象那个 三、似然函数与极大似然估计 若总体X的密度函数为p(x;?θ1,?θ2,…,?θk)，其中θ1,?θ2,…,?θk是未知参数，(X1,?X2,…,?Xn)是来自总体X的样本，称 ????? 为θ1,θ2,…,θk的似然函数 若有使得 ??? 成立,则称为θj极大似然估计量(j=1,2,…,k). 根据微积分中函数极值的原理，要求使得上式成立，只要令? ????????????? 其中L(θ)=L(x1,x2,…,xn;θ). 解之，所得解为极大似然估计量，上式称为似然方程. 又由于与=的极值点相同,所以根据情况,也可以求出的解作为极大似然估计量 极大似然估计的不变性 求未知参数的某种函数的极大似然估计可用极大似然估计的不变原则，证明从略． 定理（不变原则）设是的极大似然估计，是的连续函数，则的极大似然估计为 四、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数（或联合密度）； 2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作自变量，得到似然函数； 3、求似然函数的最大值点（常转化为求对数似然函数的最大值点）； 4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值． 下面通过例子来说明： 例一： 设总体X服从正态分布N(μ, σ2)，试求μ及σ2的极大似然估计. 解：μ,σ的似然函数为? ??? 似然方程组为? ??????? ??????? 解之得:?????,??? ???????????. 因此及分别是μ及σ2的极大似然估计. 例二： 设某元件失效时间服从参数为的指数分布，其密度函数为，未知．现从中抽取了个元件测得其失效时间为，试求及平均寿命的极大似然估计． 分析：可先求的极大似然估计，由于元件的平均寿命即为的期