参数估计(可打开).ppt

第七章 参数估计 统计学推断概述 统计学推断概述 统计学推断概述 统计学推断概述 §1 点估计 点估计 例: 在某炸药制造厂,一天中发生着火现象的次数X是一个随机变量,假设它服从以l0为参数的泊松分布,参数l为未知.现有以下的样本值,试估计参数l. 解: 矩估计 以样本矩估计相应总体矩来求出估计量的方法，称为矩估计法, 又称数字特征法。 矩法(method of moments)是皮尔逊在20世纪初的一系列文章中引进的一种寻找估计量的简单易算的方法. 基本原理是:用样本k阶原点矩 去估计相应的总体k阶矩E(Xk)(前提是总体k阶矩必须存在). 设样本X1, X2, … , Xn来自总体X,该总体具有密度函数f(x,q),其中参数q未知. 如果总体k阶矩E(Xk)存在,由计算公式 矩估计方法的步骤 (1)求出未知参数与总体矩的关系式 特别地，假设总体X的数学期望和方差存在，分别表示为a = EX, s2= DX，它们是未知的。总体的二阶矩E(X2) = DX + (EX)2 =s2 + a2 , 由定义两个未知参数，建立两个方程组， 例3: 设总体X的均值m与方差s2都存在,且有s20. 但m与s2均未知. 又设X1, X2, …, Xn是来自X的样本.试求m, s2的矩估计量. (二)最(极)大似然估计法 极大似然估计法(maximum likelihood estimation, 简记MLE)是费歇尔在1912年提出的一种参数估计方法，其思想始于高斯的误差理论，它具有很多优良的性质，如它充分利用总体分布函数的信息，克服了矩法的某些不足，具有无偏性和有效性等。 最(极)大似然估计法的基本思想 在没有其它信息的情况下，我们只能认为在一次随机实验中发生的事件具有最大的概率。反过来, 如果能够使事件发生的概率最大化，该事件也就最有可能发生，因此寻找使概率极大化的参数就是很自然的想法了,极大似然法就是基于这样的想法. 即:如果随机试验的结果得到样本观测值x1, x2, …, xn, 则就当这样选取q的值,使这组观测值出现的可能性最大,也就是使似然函数L(q)达到极大值,从而求得参数q的估计值q. 最(极)大似然估计(离散型随机变量) 假设总体X是离散总体, 其分布律为: P{X=x}=p(x,q) , q为待估参数。 设X1, X2, …, Xn是来自X的样本,则X1, X2, …, Xn的联合分布律为: ; 样本X1, X2, …, Xn取到观测值x1, x2, …, xn (即:事件{X1= x1, X2= x2,…, Xn= xn})的概率为: 上述概率L(q)随参数q的变化而变化,称为样本的似然函数. 最(极)大似然估计(离散型随机变量) 固定样本观测值x1, x2, …, xn ,在q的取值范围内,挑选使似然函数L(x1, x2, …, xn;q)达到最大值的参数值 作为参数q的估计值.。 即:取 使 这样得到的 与样本值x1, x2, …, xn有关,常记为 (x1, x2, …, xn), 称为参数q的最大似然估计值,而相应的统计量 (X1, X2, …, Xn), 称为参数的最大似然估计量. 最(极)大似然估计(连续型随机变量) 假设总体X是连续总体, 其概率密度为: f(x,q) , q为待估参数。 设X1, X2, …, Xn是来自X的样本,则X1, X2, …, Xn的联合概率密度为: ; 设x1, x2, …, xn 是相应于样本X1, X2, …, Xn的一个样本值,则随机变量(X1, X2, …, Xn)落在点(x1, x2, …, xn)的邻域内的概率为: 上述概率L(q)随参数q的变化而变化,称为样本的似然函数 最(极)大似然估计(连续型随机变量) 与离散型随机变量一样,我们取q的估计值 ,使上述概率取到最大值; 又由于dxi不随q而变,故只需考虑函数 的最大值; 将上述函数L(q)称为似然函数. 若 则称 (x1, x2, …, xn)为q的最大似然估计值.称 (X1, X2, …, Xn)为q的最大似然估计量. 最(极)大似然估计 一般说来, 上述最大值问题通过求解方程 需要注意的是总体中未知参数q的个数决定似然方程组的个数，如果似然方程组无解析解，只能借助于计算机求似然方程组的数值解。 习题1 随机地取8只活塞,测得它们的直径为(以mm计) 74.001 74.005 74.003 74.001 74.000 73.998 74.006 74.002 试求总体均