03第三讲参数估计.pptVIP

第三讲 参数估计 一、参数及其估计 二、替换原理 三、极大似然估计法 一、参数及其估计 在解决实际问题中，当确定了总体分布族， 我们首先关心的是分布族中的那一个分布产 生了我们所抽取的数据，即就是要从样本来 推断总体的分布或所感兴趣的总体特征数 （如总体均值、方差等）。 统计推断分为参 数估计和假设检验，我们先来讨论参数估计。 通常我们也称其为参数。 如 废品率。 但上述有关参数的概念并不局限于 参数统计模型， 在非参数统计模型中亦存在， 设总体分布族为 , 任何与总体有 特征数也都是参数。一般地，有关参数和估 计量，我们有如下定义。 定义3 参数（Parameter）, 估计量 （Estimate），简称估计。 二、替换原理 1. 频率替换法 考虑n次独立重复试验，每次试验有k中 可能的结果 父辈从事第3 种职业的708个丹麦男性的职业数据如下： 0.13 0.31 0.41 0.12 0.03 95 217 289 84 23 5 4 3 2 1 例5 考虑男性总体。设男性的职业类型分为 五类， 根据频率替换 原理，最自然的方法就是用样本频率 例如在例5中已知第4和第5种职业相于蓝领， 第2和第3种职业相于白领，我们感兴趣的是 蓝领工人和白领工人比率的差，即 使用频率替换原理，有 在实际问题中，常见的情形是：每次试验 函数， 上有定义和连续，则由频率替换原理可得 需要注意的是在上述估计过程中可能得到 的估计是不唯一的，举例说明如下。 例6 考虑具有两个等位基因的单个基因的遗 传平衡问题。 如果三种不同的基因型是可辨 识的， 这就导致假设个体三种基因型发生的 频率为 即著名的Hardy-Weinberg模型。 由替换原理可得 的三个不同的估计 关于这三个估计优劣留以后讨论。 2. 矩估计法 矩估计法的主要思想是基于替换原理。 设总体分布族为 , 其 阶原点矩 存在， 令 若通过反解，可将 表示成的 函数， 选择其中 个方程， 不妨设是前 个， 即 相应的样本的前 r 个原点矩为 用样本矩 替换相应总体矩 ， 可得参数 的估计为 这种方法称为矩估计法，所得的估计量称为 矩估计量（Moment Estimate）。 例7 例8 注意： 1. 总体存在适当阶的矩。 反例，考虑Cauchy分布，其密度函数为 其各阶矩均不存在。 2. 对相同的参数 ，存在多个矩估计。 例如，考虑总体是参数为 的Poisson分布， 三、极大似然法 例9 已知甲、乙量射手命中靶心的概率为0.9 极大似然法是另一种常用的估计法，先举 例说明其思想。 和0.4，观察一张靶纸知10枪6中，且这张 靶纸肯定是射手甲乙之一所射，问究竟 是谁所射？ 式。 比较这两个值， 这张靶纸是乙所射的， 从这个例子可以看出，极大似然法是基 于这样一个统计原理：在一次试验中，某一 事件已经发生，则必认为发生该事件的概率 最大（小概率事件原理）。 分布为 简记 似然函数， (Likelihood Function) 极大似然估计, (Maximum Likelihood Estimate ) 简记为MLE。 注意： 当总体X为离散随机变量时， 为分布率（分布列）； 连续随机变量时， 函数。 而当总体X为 从以上分析可知， 求极大似然估计的具体过程可归如下： 1. 当参数空间仅函有限个元时，可以用穷 举法求 2. 时， 这个方程称为似然方程， (Likelihood Function) 求解似然方程可 例10 设总体X的分布函数为 简单随机样本， 例11 考虑n次独立重复试验，每次试验有k种 可能的结果 例12 解 的小。 故有 注： 常常可以证明矩估计或MLE存在，但 无法获得解的解析表达式（显式解）， 这时可用迭代法等求数值解。