第三章期望分析.pptVIP

第三章：期望 上节课内容 随机变量及其分布 随机变量变换的分布 常见分布族 多元随机向量的分布：联合分布、边缘分布、条件分布 本节课内容 常用统计量：期望、方差、矩、中值、分位数 IID样本、样本均值、样本方差 期望 期望/均值：随机变量的平均值 概率加权平均 期望 期望是随机变量的一个很好单值概述：随机变量典型的值或期望值 大数定律(Chp5)：当有大量独立同分布(Independed Identical Distribution, IID) 样本 时，期望 可视为样本均值 当 ，我们说 是良好定义的（well defined）；否则我们说期望不存在。 期望 [最小距离] 假设我们用L2距离度量一个随机变量X与一个常数b的距离，即 。b离X越近，这个量就越小。因此我们可以确定b的值，使得 最小，b可认为是X的一个很好预测。（不能直接最小化 因为结果与X有关，对X的预测无用） 问题：如果采用L1作为距离度量呢？ 随机变量变换的期望 1. 2. 注意：当 时， 随机变量变换的期望 例1： ，则 概率是一个特殊的期望：概率 为 的期望 例3.7： ，则 也可以先求 ，然后 随机向量变换的期望 随机向量变换的期望 令 例3.9: 设（X,Y）是单位正方形区域上的联合均匀分布， 则 期望的性质 线性运算： 加法规则： 乘法规则： 期望的性质 不好计算。 利用加法规则： 令 则 期望 例：[骗人的“平均数” ]吉斯莫先生有一个小工厂，生产超级小玩意儿。 管理人员由吉斯莫先生、他的弟弟、六个亲戚组成。工作人员由5个领工和10个工人组成。工厂经营得很顺利，现在需要一个新工人。现在吉斯莫先生正在接见萨姆，谈工作问题。 吉斯莫：我们这里报酬不错。平均薪金是每周300元。你在学徒期间每周得75元，不过很快就可以加工资。 [萨姆工作了几天之后，要求见厂长。] 萨姆；你欺骗我！我已经找其他工人核对过了，没有一个人的工资超过每周100元。平均工资怎么可能是一周300元呢？ 吉斯莫：啊，萨姆，不要激动。平均工资是300元。我要向你证明这一点。 吉斯莫：这是我每周付出的酬金。我得2400元，我弟弟得1000元，我的六个亲戚每人得250元，五个领工每人得200元，10个工人每人100元。总共是每周6900元，付给23个人，对吧？ 萨姆：对，对，对！你是对的，平均工资是每周300元。可你还是蒙骗了我。 吉斯莫；我不同意！你实在是不明白。我已经把工资列了个表，并告诉了你，工资的中位数是200元，可这不是平均工资，而是中等工资。 萨姆：每周100元又是怎么回事呢？ 吉斯莫：那称为众数，是大多数人挣的工资。 吉斯莫：老弟，你的问题是出在你不懂平均数、中位数和众数之间的区别。 萨姆：好，现在我可懂了。我……我辞职！ 众数（mode） 众数：设随机变量X有密度 ，且存在 满足 ，则称 为X的众数。 随机变量出现次数最多的位置 期望、中位数和众数都称为位置参数。 当随机变量的分布为高斯分布时，三者相等 方差 方差：刻画随机变量围绕均值的散布程度 方差越大，X变化越大；方差越小，X与 越接近 方差：二阶中心矩 方差的性质 方差 样本均值和方差 令 为IID，样本均值定义为 计算均值时忽略了概率？ 样本方差定义为 样本均值和方差 和 分别为 和 的很好估计（无偏估计） 协方差(covariance) /相关系数 协方差/相关系数：刻画两个随机变量之间关系强弱 协方差(covariance) /相关系数 X、Y独立，则X、Y 不相关： 但反过来不成立！ 协方差的性质 对任意两个随机变量X和Y，有 当X、Y独立时： 推广到多个随机变量： 方差-协方差矩阵 令随机向量 的形式为： 则 的方差—协方差矩阵 为