[数学]参数估计.ppt

第六章: 参数估计;参数估计问题的一般提法; ;寻求估计量的方法;其思想是: 用同阶、同类 的样本矩来估计总体矩。;矩估计就是用相应的样本矩去估计总体矩。; 设总体 X 的分布函数中含 k 个未知参数 ;步骤二：算出样本的 m 阶原点矩;步骤四：解方程组(1), 并记其解为;解：先求总体的期望;由矩法，令;解: 先求总体的均值和 2 阶原点矩。;令y=(x-μ )/θ;用样本矩 估计总体矩;列出方程组:;故，均值?,方差?2的矩估计为;如：正态总体N(? , ?2) 中? 和?2的矩估计为;又如：若总体 X～ U(a, b)，求a, b的矩估计。 ;解上述方程组，得到 a,b 的矩估计: ; 矩估计的优点是：简单易行, 不需要事先知道总体是什么分布。; 极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法 。;I. 极大似然估计原理;将上式简记为 L(θ )，即; 假定现在我们观测到一组样本 X1, X2, …, Xn，要去估计未知参数θ 。; (4) 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。;两点说明：;● 用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求 。;III. 下面举例说明如何求参数的MLE;对数似然函数为：;解上述方程，得;例2：求正态总体 N(?, ?2) 参数 ? 和 ?2 的极大似然估计(注: 我们把 ?2 看作一个参数)。; 似然方程组为; 是L(?,?2)的最大值点，即 ? 和 ?2 的极大似然估计。;例3：设总体 X 服从泊松分布 P(? )，求参数? 的极大似然估计。;似然方程为;换成;例4：设 X ～U(a, b)，求 a, b 的极大似然估计。 ; 由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。; 为使 L(a, b) 达到最大，b-a 应该尽量地小。 但 b不能小于 max{x1,x2,…,xn}。否则，L(a,b) = 0。类似地，a 不能大于min{x1,x2,…,xn}。 因此，a 和 b 的极大似然估计为;解：似然函数为;求导并令其导数等于零，得; 从前面两节的讨论中可以看到: ● 同一参数可以有几种不同的估计，这时就需 要判断采用哪一种估计为好的问题。 ● 另一方面，对于同一个参数，用矩法和极大 似然法即使得到的是同一个估计, 也存在衡 量这个估计优劣的问题。 估计量的优良性准则就是：评价一个估计量 “好”与“坏”的标准。; 设总体的分布参数为?，;参数?，有时可能估计偏高，有时可能偏低，但是平均来说它等于?。 “一切可能的? ”是指：在参数估计问题中，参数 ? 一切可能的取值。 我们之所以要求对一切可能的 ? 都成立， 是因为在参数估计问题中, 我们并不知道参数? 的真实取值。自然要求它在参数? 的一切可能取值的范围内都成立;例1：设 X1, X2, …, Xn 为抽自均值为? 的总体X的随机样本，考虑 ? 的如下几个估计量：;定理6.2.1 设总体 X 的均值为?,方差为?2, X1,X2,…,Xn 为来自总体 X 的随机样本，记 与 分别为样本均值与样本方差，即;证明：因为 X1, X2, …, Xn 独立同分布，且 E(Xi )=μ , 所以;于是，有; 前面两节中，我们曾用矩法和极大似然法分别求得了正态总体 N(μ , σ2) 中参数 σ2 的估计,均为;例2：求证：样本标准差 S 不是总体标准差? 的无偏估计。 ; 用估计量 估计?，估计误差; 哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”。; 上式表明，均方误差由两部分构成：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。;例3：设 X1, X2, …, Xn 为抽自均值为 ? 的总体,考虑 ? 的如下两个估计的优劣：;§ 6.3 最小方差无偏估计;定理6.3.1说明：如果无偏估计不是充分统计量 的函数，则将之对充分统计量求条件期望可以 得到一个新的无偏估计，该估计的方差比原来 的估计的方差要小，从而降低了无偏估计的方 差。换言之，考