参数估计分析和总结.docxVIP

第三章 参数估计 统计推断就是推断总体分布，可以用经验分布估计理论分布，且增多样本可以逼近所要求的精度，但是这需要大量样本，现实中难以实现。 实际问题总是认为总体分布形式已知，而是不知其中几个参数，因此估计问 题变为如何估计这几个未知参数，分成两大类：点估计和区间估计。 §3.1 点估计 设母体 X 的分布函数 F ( x, ) 形式已知，  为待估未知参数向量，样本值 为 x , x 1 2 ,, x n ，点估计就是构造一个适当的统计量ˆ( x ,, x ) 作为待估未知参数 1 n   的近似值，统计量简单说就是样本值的函数，但是要求不可依赖未知参量，能够反映未知参量的信息，不同的未知参量对应了不同的统计量。如何构造呢？这里经典方法是矩估计方法和最大似然估计两种办法。 矩估计 ：子样的 k 阶原点矩 A k  1 n x k n i i 1 ，母体的 k 阶原点矩 m k ，假设   =[ , 1 2 ,, l ]，那么我们就列 L 个方程m = A k k ，求解ˆ 。  例子：混合高斯分布 f ( x,)  (1  ) 1 ( x)   2 ( x) ， i ( x)  1  x 2 2 2 i  给你样本值为 x , x 1 2 ,, x n ，来估计未知参数 。  解释：混合高斯分布的均值为零，二阶矩为 E[x2 ]  (1   ) 2 1    2 2  我们只有样本，那么就用样本二阶矩代替， A 2 参数 的估计值为  1 n x 2 n i i 1  E[x2 ]，那么得出未知 ˆ  A   2  2   2 2 1  最大似然估计：比如连续分布的母体概率密度函数为 f ( x, ) ， 为待估未知参数 向量，样本值为 x , x 1 2 ,, x n ，对于各样本值进行排序，总能找到 x  x 1 2    x ， n  那么发生在区间的概率 Px 1  n i 1  dx  x  x 1 f ( x , )dx i ,x n  dx  x  x n  Px 1  dx  x  x }P{}p{x 1 n  dx  x  x  n  我们将上述发生概率最大的参数  作为真实值的估计，那么就是使得似然函数 n f ( x , ) 最大即可，或者lnn f ( x ,)  n ln f ( x ,) 最大，记做  i i 1   i 1   i 1   为使得上述最大 L( x 1 ,, x n , )  n i 1 ln f ( x , ) i   我们自然采取 L( x 1 ,, x n ,ˆ)  arg max L( x,)   来求解ˆ 参数向量。 L  0   推论：统计量ˆ( x ,, x ) 作为未知参数 的最大似然估计，g( ) 为 的连续函数， 1 n 那么 g (ˆ) 为 g( ) 的最大似然估计。 例子：正态母体 N (u, 2 ) ，给定样本值为 X=（ x , x 1 2 ,, x n ），其均值和方差的最  大似然估计量？ 解：每个样本点都符合正态母体 N (u, 2 ) ，那么我们构造似然函数为  L( X ;u, 2 ) = ln  f ( x , )  ln 1  1 n e 22  ( x u ) 2 i  i   i 1   i 1  ( 2 2 )n  =  n ln  n ln 2  2 1 2 2 n i 1 ( x  u)2 i L 注意，这里 2整体看出未知参数。那么  0 得出两个方程  1  2  n ( x i i 1  u)  0  n 1  1 n ( x  u)2  0  2  2 2( 2 )2 i i 1  由第一个方程解出来 uˆ  1 n x n i i 1 ，代入第二个方程得出 ˆ 2  1 n ( x n i i 1  uˆ)2 ，可见  最大似然估计的统计量和利用矩估计方法相同。 例子：上述求导数的方法并不是通用的，比如母体为[ , 1 2 ] 区间的均匀分布  f ( x,)  1 , 其他区间为零。那么给定样本值为 X=（ x ,