数理统计-参数估计七月算法出品资料.ppt

参数估计与矩阵运算基础 七月算法 邹博 2015年3月8日 历史遗留问题 根据 从而公式 的极限存在，定义为e。 极限存在的证明 根据前文中 的二项展开式，已经证明数组{an}单增有上界，因此，必有极限。 同时： 根据两边夹定理，函数 的极限存在，为e. 期望 离散型 连续型 即：概率加权下的“平均值” 期望的性质 无条件成立 若X和Y相互独立 反之不成立。事实上，若E(XY)=E(X)E(Y)，只能说明X和Y不相关。 关于不相关和独立的区别，稍后马上给出。 方差 定义 无条件成立 X和Y独立 此外，方差的平方根，称为标准差 协方差 定义 性质： 协方差和独立、不相关 X和Y独立时， 而 从而，当X和Y独立时， 但X和Y独立这个前提太强，我们定义：若Cov(X,Y)=0，称X和Y不相关。 协方差的意义 协方差是两个随机变量具有相同方向变化趋势的度量；若Cov(X,Y)0，它们的变化趋势相同，若Cov(X,Y)0，它们的变化趋势相反；若Cov(X,Y)=0，称X和Y不相关。 思考：两个随机变量的协方差，是否有上界？ 协方差的上界 若 则 当且仅当X和Y之间有线性关系时，等号成立。 再谈独立与不相关 因为上述定理的保证，使得“不相关”事实上即“线性独立”。 即：若X与Y不相关，说明X与Y之间没有线性关系(但有可能存在其他函数关系)，不能保证X和Y相互独立。 但对于二维正态随机变量，X与Y不相关等价于X与Y相互独立。 相关系数 定义 由协方差上界定理可知， 当且仅当X与Y有线性关系时，等号成立 容易看到，相关系数是标准尺度下的协方差。上面关于协方差与XY相互关系的结论，完全适用于相关系数和XY的相互关系。 协方差矩阵 对于n维随机向量(X1,X2…Xn)，任意两个元素Xi和Xj都可以得到一个协方差，从而形成n*n的矩阵；显然，协方差矩阵是对称阵。 思考题 对称阵的不同特征值对应的特征向量，是否一定正交？ 矩 对于随机变量X，X的k阶原点矩为 X的k阶中心矩为 统计参数的总结 均值(期望，一阶) 方差(标准差，二阶) 变异系数(Coefficient of Variation) 标准差与平均数的比值称为变异系数，记为C·V 偏度Skew(三阶) 峰度Kurtosis(四阶) 偏度 偏度衡量随机变量概率分布的不对称性，是概率密度曲线相对于平均值不对称程度的度量。 偏度的值可以为正，可以为负或者无定义。 偏度为负(负偏态)意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值(包括中位数在内)位于平均值的右侧。 偏度为正(正偏态)意味着在概率密度函数右侧的尾部比左侧的长，绝大多数的值(包括中位数在内)位于平均值的左侧。 偏度为零表示数值相对均匀地分布在平均值的两侧，但不一定意味着一定是对称分布。 偏度公式 其中μ3是三阶中心矩，σ是标准差。E是期望算子。等式的最后以三阶累积量与二阶累积量的1.5次方的比率来表示偏度。这和用四阶累积量除去二阶累积量的平方来表示峰度的方法向类似。 偏度有时用Skew[X]来表示。 峰度 峰度是概率密度曲线在平均值处峰值高低的特征，通常被定义四阶中心矩除以方差的平方再减去3： 也被称为超值峰度(excess kurtosis)。 “减3”是为了让正态分布的峰度为0。 如果超值峰度为正，称为尖峰态(leptokurtic)，超值峰度为负，称为低峰态(platykurtic)。 实践中的例子 思考 1、给定两个随机变量X和Y，如何度量这两个随机变量的“距离”？ 2、设随机变量X的期望为μ，方差为σ2，对于任意整数ε，试估计概率P{|X-μ| ε}的下限。 即：随机变量的变化值落在期望值附近的概率 解(以连续型随机变量为例) 切比雪夫不等式 设随机变量X的期望为μ，方差为σ2，对于任意整数ε，有： 切比雪夫不等式说明，X的方差越小， 事件{|X-μ| ε}发生的概率越大。即：X取的值基本上集中在期望μ附近。 该不等式进一步说明了方差的含义 该不等式可证明大数定理。 大数定理 设随机变量X1,X2…Xn…互相独立，并且具有相同的期望μ和方差σ2。作前n个随机变量的平均 ，则对于任意整数ε，有 大数定理的意义 当n很大时，随机变量X1,X2…Xn的平均值Yn在概率意义下无限接近期望μ 。 出现偏离是可能的，但这种可能性很小，当n无限大时，这种可能性的概率为0。 思考题 如何证明大数定理？ 提示：根据Y的定义，求出它的期望和方差，带入切比雪夫不等式即可。 重要推论 一次试验中事件A发生的概率为p；重复n次独立试验中，事件A