Convergence.ppt

第五章：随机变量的收敛性 随机样本：IID样本 ， 统计量：对随机样本的概括 Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值… 收敛性：当样本数量n趋向无穷大时，统计量的变化 大样本理论、极限定理、渐近理论 对统计推断很重要 收敛性 主要讨论两种收敛性 依概率收敛 大数定律：样本均值依概率收敛于分布的期望 依分布收敛 中心极限定理：样本均值依分布收敛于正态分布 例1：依概率收敛 概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定到概率 设在一次观测中事件A发生的概率为 如果观测了n次，事件A发生了 次，则当n充分大时，A在次观测中发生的频率 逐渐稳定到概率p 。 那么 不对，若 则对于 ，总存在 ,当 时，有 成立 但若取 , 由于 即无论N多大,在N以后,总可能存在n ,使 所以 不可能在通常意义下收敛于p。 例2：依分布收敛 考虑随机序列 ，其中 直观： 集中在0处， 收敛到0 但 两种收敛的定义 5.1 定义：令 为随机变量序列，X为另一随机变量，用Fn表示Xn的CDF，用F表示X的CDF 1、如果对每个 ，当 时， 则Xn依概率收敛于X ，记为 。 2、如果对所有F的连续点t，有 则Xn依分布收敛于X ，记为 。 两种收敛的定义 当极限分布为点分布时，表示为 依概率收敛： 依分布收敛： 其他收敛 还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean） 对证明概率收敛很有用 当极限分布为点分布时，记为 对应还有：L1收敛（converge to X in L1 ） 其他收敛 依概率收敛 随机变量序列 ，当对任意 ， 则称随机变量序列 几乎处处依概率收敛到X （converge almost surely to X） ，记为： 几乎处处收敛：比依概率收敛更强 各种收敛之间的关系 点分布，c为实数 例：伯努利大数定律 设在一次观测中事件A发生的概率为 ，如果观测了n次，事件A发生了 次，则当n充分大时，A在次观测中发生的频率 逐渐稳定到概率p 。 即对于 ， 表示当n充分大时，事件发生的频率 与其概率p存在较大偏差的可能性小。 例：5.3 令 直观： 集中在0处， 收敛到0 依概率收敛： 例：续 依分布收敛：令F表示0处的点分布函数，Z表示标准正态分布的随机变量 收敛的性质 弱大数定律（WLLN） 独立同分布（IID）的随机变量序列 ， 方差 ，则样本均值 依概率收敛于期望 ，即对任意 称 为 的一致估计（一致性） 在定理条件下，当样本数目n无限增加时，随机样本均值将几乎变成一个常量 对样本方差呢？依概率收敛于方差 强大数定律（SLLN） 独立同分布（IID）的随机变量序列 ， 方差 ，则样本均值 几乎处处收敛于期望 ，即对任意 例：大数定律 考虑抛硬币的问题，其中正面向上的概率为p，令 表示单次抛掷的输出（0或1）。因此 若共抛掷n次，正面向上的比率为 。根据大数定律， 但这并不意味着 在数值上等于p 而是表示当n很大时， 的分布紧围绕p 令 ，若要求 ，则n至少为多少？ 解： 中心极限定理(Ce