第7章 参数估.docVIP

PAGE PAGE 68 参数估计 假设随机变量服从正态分布，在实践中，通常数学期望，方差都是未知的，需要进行估计，常用的估计法有点估计，区间估计等等，首先我们来讨论点估计。 §7.1 点估计 假设某一总体的分布函数为，其中参数未知，需要进行估计，又假设为从总体中抽出的一个样本，由这个样本构造一个函数，并以此作为参数的估计值，我们就称为的点估计。 常用的点估计有矩估计，极大似然估计等等，下面我们分别进行讨论。 1． 矩估计法 若总体的密度函数为，其中为未知参数，如果总体的阶矩（）存在，设 ， 又假设为从总体中抽出的一个样本，为这个样本的阶样本矩，令 若上述关于的方程组有解，则称这个解是的矩估计量或矩估计。 按矩估计的定义，无论总体是什么分布，只要真实矩存在，阶样本原点矩均是它们相应真实原点矩的矩估计量。 例 6.2 设为从某个总体中随机取出的一个样本，且 存在， 试求的矩估计量。 解 而 ，， 所以 ， 解得，。 例 6.3 设为[]上的均匀分布，为样本，求的矩估计。 解 令 解上述关于的方程得 。 例 6.4 在贝努利试验中，设事件在每一次试验中发生的概率为，求参数的矩估计。 解 设，而为的一个样本， 为事件发生的频率，由矩估计定义，，故有． 使用矩估计法的一个前提是总体存在适当阶的矩，阶数应不小于待估参数的个数（或者说参数空间的维数），但这不总是可以做到的。 矩估计法简便易行，且只要充分大，估计的精确度也很高，但它只用到总体的数字特征的形式，而未用到总体的具体分布形式，损失了一部分很有用的信息，因此,在很多场合下显得粗糙和过于一般。 3．极大似然估计（） 参数的点估计方法中另一个常用方法就是极大似然估计，简记为。我们通过一个具体例子来说明这一估计的思想。 我们来看一个的例子。 例2 已知有一批产品，试估计这批产品的不合格品率。这里。 解 设，于是服从概率分布， 我们从产品中随机抽取出一个容量为的样本，于是的概率为 。 这概率可以看作是未知参数的函数，用表示，称作未知参数的似然函数，也即 。 在一次抽样中，值使获得这一组特殊观测值的概率应该最大，也即似然函数应该达到最大值。所以我们以使达到极大的值作为参数的一个估计值是合理的。 对两边取对数，得 ， 由于对数函数是的单调函数，所以与在同一个值上达到极大。 由对求导数，并使其等于零，得 ， 解方程得解为 。 不难验证，使达到极大，因此称为参数的极大似然估计值，其相应的统计量 称做参数的极大似然估计量。 极大似然估计的出发点是基于这样一个统计原理：在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本，则必然认为发生该事件的概率最大。 通过上述讨论，下面我们给出极大似然估计的概念。 极大似然估计定义：设为取自具有概率函数的母体的一个样本，样本的联合概率函数 是的函数。我们用表示，即 我们称这个函数为样本的似然函数。称为对数似然函数。 如果Ｘ是离散型母体，给出观测到（）的概率。所以我们只要寻找这样的观测值（）的函数，使 成立。我们称为参数的极大似然估计值，其相应的统计量称作参数的极大似然估计量。 如果是连续型变量，表示密度函数。我们只需求出使得达到极大的，便可得到极大似然估计。 由于是的单调增函数，使成立的也使成立。 若关于的偏导数都存在，于是的极大似然估计必须满足似然方程组 这两个方程组是两个同解方程组。通常情况下，解对数似然方程组更容易。 例1 设是的样本，求与的． 解 由已知，，因此事件发生的概率为 ， 由分别对求偏导，得似然方程组 解似然方程组，即得 。 由此可见，对于正态分布总体来说，，的矩估计与ＭＬＥ是相同的。 例 2 求均匀分布中参数的． 解 设为从总体中随机取出的一个样本，则样本的似然函数为 本例似然函数不连续，不能用似然方程求解的方法，只有回到极大似然估计的原始定义。 注到最大值只能发生在 ；而欲最大，只有使最小，即使尽可能小，尽可能大，但在式（6.4）的约束下，，因此只能取=，=． 和矩估计的情形一样，有时虽能给出似然方程，也可以证明它有解，但得不到解的解析表达式。 §6.2 估计量的评价准则 对于同一参数，用不同方法来估计，结果是不一样的。那么究竟孰优孰劣就需要进行判断，判断不同估计量优劣的方法主要有下述3个指标： 1．相合性 设=是的一个估计量，若对任意给定的及，都有，就称是的相合估计。 相合性是对一个估计量最基本的要求，如果一个估计量连相合性都不满足，这个估计量便没有什么意义。 可以证明，矩估计，极大似然估计都是相合估计。 2．无偏性 定义 ： 设=是的一个估计量，若对任意的，都有，则称是的无偏估计量，如果，则称是的渐近无偏估计量。 无偏性反映了估计量的取值