点估计的方法20161022.pptxVIP

第三节 点估计的方法与应用一、矩估计法二、极大似然估计法三、最小二乘估计法P109一、矩法估计1、基本思想样本矩去替换总体矩2、理论依据 样本矩依概率收敛于总体矩。 3、 定义 设样本X1,X2...Xn,来自总体X，以μr记作总体的r阶原点矩，mr记作r阶样本原点矩，即μr=EXr；mr=1/n*∑Xr如果参数θ可以表示为总体的前k阶矩的函数，即θ=g（μ1,...,μk） 则我们可以用 来估计θ，并 称为θ的矩估计。4、矩估计的优点（1）不依赖总体的分布，简便易行（2）只要n充分大，精确度也很高5、矩估计的缺点（1）矩估计的精度较差；（2）要求总体的某个k阶矩存在；（3）要求未知参数能写为总体的原点矩的函数形式6、矩估计的选择原则 （1）涉及到的矩的阶数要尽可能小 （2）所用估计最好是充分统计量的函数注意：1. 总体存在适当阶的矩。反例，考虑Cauchy分布，其密度函数为其各阶矩均不存在。2. 对相同的参数 ，存在多个矩估计。例如，考虑总体是参数为 的Poisson分布， 5、矩法估计的基本步骤 定理2.9 设X1,X2...Xn是独立同分布的变量序列，E|X|k∞,θ=g（μ1,...,μk）,并设g是连续的，则θ的矩估计 是θ的相合估计。定理2.10 设X1,X2...Xn是独立同分布的变量序列，E|X|2k∞,θ=（θ1，θ2，...，θs），θi=gi（μ1,...,μk）,并设gi对μj有连续偏导数G=，则*（-θ）→N(0，G∑G)P112例2.22 设X1,X2...Xn是独立同分布的变量序列，E|X|4∞,θ=(μ，σ2)，其中求矩估计的渐进分布。6、频率替换估计考虑n次独立重复试验每次试验有k中可能的结果根据频率替换原理，最自然的方法就是用样本频率在实际问题中，常见的情形是：每次试验函数，上有定义和连续，则由频率替换原理可得 需要注意的是在上述估计过程中可能得到的估计是不唯一的，举例说明如下。例2.24(p114) 如果试验有三种可能的结果，分别记为1,2,3，其发生的频率分别为即著名的Hardy-Weinberg模型。由替换原理可得 的三个不同的估计二、极大似然估计法1、小概率事件原理：在一次试验中，某一事件已经发生，则必认为发生该事件的概率最大。2、基本思想 设总体X的分布函数已知，但参数θ未知，它可以取很多值，我们要在参数θ的一切可能取值中选出一个使样本观察 值出现的概率为最大的 作为参数θ的估计，并称 为θ的极大似然估计。 3、似然函数 4、极大似然估计 如果L在 达到最大值，则称 是? 的极大似然估计（ Maximum Likelihood Estimate -MLE）。这种求估计量的方法称为极大似然法。5、理论依据 只要n足够大，极大似然估计和未知参数的真值可以任意接近。6、极大似然估计的优点 (1)吸收了提供的样本参数的信息 (2)利用了分布函数形式已知的有利条件 (3)得到的估计量的精度一般较高7、极大似然估计的缺点 要求必须知道总体的分布函数形式P116 9、极大似然估计的性质（1）不变原则 定理 设 为 的极大似然估计， 是 的连续函数，则 的极大似然估计为 。例2.27（p118） 设(X1，Y1),......,(Xn,Yn)是来自二元正态总体的一个样本，E(X1)=E(Y1)=0,Var(X1)=Var(Y1)= ,Cov(X1,Y1)= , 求 ， 的MLE(2)相合性：若lnp(x;θ)在Θ上可微，并设p(x;θ)是可识别的，则似然方程在n趋于无穷时，以概率1有解，且此解关于θ是相合的。(3)渐进正态性：假设Θ为开区间，概率密度函数p(x;θ)，满足： ①在参数真值 的邻域内， ，对所有的x都存在； ②在参数真值的邻域内， ； ③在参数真值 处， 记 是n趋于无穷时似然方程的相合解，则 (4)渐进有效性：设Tn是 的相合估计， 可微，Fisher信息存在，且 ，则称为Tn的渐进性。如果 ，则称Tn是 的渐进有效的估计。(5)局限性: （1）极大似然估计不能唯一确定 的点估计。 （2）极大似然方法没有考虑损失函数。P127 例2.33 例2.34三、最小二乘估计1、基本思想 通过使因变量的观测值与估计值之间的离差平方和达到最小来估计参数的方法2、定义在线性模型( ),若其中 为β的最小二乘估计（LSE），估计β，令计算LSE就等价于求Q(β)的最小值。