数理统计和随机过程4--参数估计.ppt

讨论 使用矩估计法需要什么前提条件？ 讨论 极大似然估计示意图 H：样本集 极大似然估计示意图 D：样本集 l(?)=ln(P) 极大似然估计的对数似然方程 人们通常把 叫做对数似然函数。 III. 下面举例说明如何求参数的MLE 例1: 设X1, X2, …, Xn是取自总体 X~B(1, p) 的一个样本，求参数 p 的极大似然估计。 解：似然函数为 对数似然函数为： 对 p 求导，并令其等于零，得 上式等价于 解上述方程，得 换成 换成 例2：求正态总体 N(?, ?2) 参数 ? 和 ?2 的极大似然估计(注: 我们把 ?2 看作一个参数)。 解：似然函数为 对数似然函数为 似然方程组为 由第一个方程，得到 代入第二方程，得到 此结果与矩估计相同！ 例3：设总体 X 服从泊松分布 P(? )，求参数? 的极大似然估计。 解：由 X 的概率分布函数为 得? 的似然函数 似然方程为 对数似然函数为 其解为 换成 换成 得? 的极大似然估计 例 4：设 X ～U(a, b)，求 a, b 的极大似然估计。 解：因 所以 由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。 为使 L(a, b) 达到最大，b-a 应该尽量地小。 但 b不能小于 max{x1,x2,…,xn}。否则，L(a,b) = 0。类似地，a 不能大于min{x1,x2,…,xn}。 因此，a 和 b 的极大似然估计为 此结果与矩估计结果不同！ 矩估计结果为： 解：似然函数为 例5：设 X1, X2,…,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数 其中θ 0为未知常数。求θ的极大似然估计。 也可写成 求导并令其导数等于零，得 解上述方程，得 离散情况举例：求?的极大似然估计 设总体X的概率分布为： 其中?（0 ? 1/2）是未知参数，利用总体X的如下样本值： 3，1，3，0，3，1，2，3 1- 2? ?2 2?(1- ?) ?2 P 3 2 1 0 X 解：对于给定的样本值，似然函数为： 对于给定的样本值，似然函数为： 当两种或多种参数估计得到不同的结果时，如何判断哪种结果更好？ * 兰州大学信息科学与工程学院 主讲: 路永刚 E-mail: ylu@lzu.edu.cn 第七节 参数估计 数理统计的任务： ● 总体分布类型的判断； ● 总体分布中未知参数的推断 (参数估计与假设检验)。 参数估计问题的一般提法 设总体 X 的分布函数为 F( x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本 X1, X2 , … , Xn . 依样本对参数θ做出估计，或估计参数θ的某个已知函数 g(θ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。 称该计算值为 u 的一个点估计。 为估计参数 u，需要构造适当的统计量 ?( X1, X2 , … , Xn )， 一旦当有了样本，就将样本值代入到该统计量中，算出一个值?作为 u 的估计， 点估计 寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 … 其思想是: 用同阶、同类 的样本矩来估计总体矩。 矩估计是基于“替换”思想建立起来的一种参数估计方法 。 最早由英国统计学家 K. 皮尔逊 提出。 §7.1 矩估计 矩估计就是用相应的样本矩去估计总体矩。 设总体 X 的分布函数中含 k 个未知参数 步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m = 1,2,…,k. am(?1,?2,…,?k), m =1, 2, …, k. 一般地, am (m = 1, 2, …, K) 是总体分布中参数或参数向量 (?1, ?2, …, ?k) 的函数。 故, am (m=1, 2, …, k) 应记成: 矩估计步骤 步骤二：算出样本的 m 阶原点矩 步骤三：令 得到关于 ?1,?2,…,?k 的方程组(L≥k)。一般要求方程组(1)中有 k 个独立方程。 步骤四：解方程组(1), 并记其解为 这种参数估计法称为