第14讲参数估计.pptVIP

* * * * * * * * * * * * * * * * * * * 总体矩 样本矩 注意：要在参数上边加上“^”， 表示参数的估计。它是统计量。 设总体 X 的分布函数中含 1个未知参数 步骤一：求出总体 X 的 1阶原点矩 E(X). 步骤二：算出样本的 1 阶原点矩 步骤三：令 得到关于 ? 的方程。 步骤四：解方程组, 并记其解为 这种参数估计法称为参数的矩估计法，简称矩法。 §7.2 极大似然估计 极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法 。 该方法首先由德国数学家高斯于 1821年提出，其后英国统计学家费歇于 1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法——极大似然估计原理 。 在随机试验中，许多事件都有可能发生，概率大的事件发生的可能性也大。若在一次试验中，某事件发生了，则有理由认为此事件比其他事件发生的概率大，这就是所谓的极大似然原理。极大似然估计法就是依据这一原理得到的一种参数估计方法。 一袋中有红、白球10个和5个，但不知其中每种颜色的 球具体为多少。今从袋中任取一球，结果为白球，由此我们有理由认为袋中有10个白球，5个红球。 和50小时，各取一只在同一系统中使用，显然我们有理由认为先坏的元件为 I. 极大似然估计原理 设总体 X 的分布 (连续型时为概率密度，离散型时为概率分布) 为 f ( x, θ) , X1,X2,…,Xn 是抽自总体 X 的简单样本。于是，样本的联合概率函数 (连续型时为联合概率密度，离散型时为联合概率分布) 为 被看作固定， 但未知的参数。 视为变量 将上式简记为 L(θ )，即 称 L(θ )为θ 的似然函数。 视为变量 视为固定值 假定现在我们观测到一组样本 X1, X2, …, Xn，要去估计未知参数θ 。 称 为θ 的极大似然估计 。 这就是 极大似然估计原理。 如果 θ 可能变化空间, 称为参数空间。 一种直观的想法是：哪个参数(多个参数时是哪组参数) 使得现在的观测值x1, x2, …, xn 出现的可能性 (概率) 最大，哪个参数(或哪组参数)就作为参数的估计。 (4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。 II. 求极大似然估计(MLE)的一般步骤 . 由总体分布导出样本的联合概率函数(连 续型时为联合概率密度, 离散型时为联合 概率分布)； (2). 把样本的联合概率函数中的自变量看成 已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )； (3). 求似然函数 L(θ ) 的最大值点 (常常转化 为求ln L(θ )的最大值点); 说明： ● 求似然函数 L(θ ) 的最大值点，可应用微积分中的技巧。由于 ln(x) 是 x 的增函数，所以 ln L(θ ) 与 L(θ ) 在 θ 的同一点处达到各自的最大值。假定 θ 是一实数, ln L(θ )是 θ 的一个可微函数。通过求解似然方程 可以得到 θ 的极大似然估计。 若θ 是向量，上述似然方程需用似然方程组 代替 。 解： 例2：设 X1, X2,…,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数 其中θ 0为未知常数。 求θ矩估计和极大似然估计。 求导并令其导数等于零，得 解上述方程，得 似然函数为 作业 P150 7.2 P128 6.11 从前面两节的讨论中可以看到: ● 同一参数可以有几种不同的估计，这时就需 要判断采用哪一种估计为好的问题。 ● 另一方面，对于同一个参数，用矩法和极大 似然法即使得到的是同一个估计, 也存在衡 量这个估计优劣的问题。 估计量的优良性准则就是：评价一个估计量“好”与“坏”的标准。 §7.3 估计量的优良性准则 设总体的分布参数为?， 对一切可能的? 成立,则称 为? 的无偏估计。 7.3.1 无偏性 对于样本 X1,X2,?,Xn的不同取值， 取不同的值 )。 如果 的均值等于?，即 简记为 是? 的一个估计(注意! 它是一个统计量，是随机变量。 参数?，有时可能估计偏高，有时可能偏低，但是平均来说它等于?。 “一切可能的? ”是指：在参数估计问题中，参数