[课件]概率与统计5[1].1大数定律.ppt

马尔科夫不等式及大数定律 电子科技大学 * 第 五 章 大数定律和中心极限定理 在实际应用中，常遇到如下问题 1. 现实中为什么大量随机变量服从正态分布？依据什么来断定一个随机变量服从正态分布？ 2. “频率的稳定性”到底是什么意思？在实际应用中有什么作用？ 3.在计算机上如何模拟现实研究对象？根据什么来认定这种模拟是正确的？…… §5.1 大数定律 一. 概率不等式 1. 马尔可科夫(Markov)不等式 设随机变量 Y 的 k 阶绝对原点矩 E{ |Y |k } +∞,则对于任意的 e 0, 有 证 明 对马尔可科夫不等式特别取 k = 2，令 Y = X－E(X )，E{|Y|2}=D(X ) 存在，有切比雪夫不等式成立. 2. 切比雪夫(Chebyshev)不等式 设随机变量 X 的数学期望 E(X ) 和方差D(X )都存在, 则对于任意的 e 0, 有 方差性质 重复试验次数估计 1. 依概率收敛 二. 大数定律的定义 定义5.1.1 设Xn, n=1,2…是一个随机变量序列, X 是一个随机变量或常数, 若对于任意的e ＞ 0, 有 概率估计 称随机变量序列{Xn}依概率收敛于X，记为 注1 在定义中, 随机变量 X也可以是常数 a, 称随机变量序列 {Xn} 依概率收敛于常数 a . 注2 随机变量序列依概率收敛不同于微积分中数列或函数列的收敛性. 依概率收敛意义的例 注 指当 n 足够大时, 有足够大的概率保证Xn 任意接近于X , 但Xn仍然有可能与X相差很大. 2 大数定律的定义 设Xn，n=1,2…是随机变量序列，其数学期望都存在，若对于任意的e ＞ 0，有 称随机变量序列{Xn}服从大数定律. 服从大数定律的概率意义：{Xk}，k=1,2…的前n 项算术平均将紧密地聚集在其数学期望的附近. 思考 能否说 ? 三. 大数定律 定理5.1.1（切比雪夫大数定律） 设Xk，k=1,2…是相互独立的随机变量序列,其数学期望和方差都存在，且存在常数C, 使得 D( Xn ) C, k = 1,2,… 则随机变量序列{Xk}, k=1,2…服从大数定律. 证明 根据切比雪夫不等式，对于任意的e ＞ 0，有 例5.1.4 则 {Xk}, k=1,2…服从大数定律，即对任意的e 0,有 注 1. 此定理是切比雪夫大数定律的一个推论. 2. 为在实际应用中用将大量重复测量值的算术平均值作为精确值的估计提供了理论依据. 设Xk，k=1,2…是相互独立且同分布的随机变量序列，且 E( Xk ) = m , D( Xk ) = s2, k = 1,2,… 推论 独立同分布大数定律 5.1.2 （贝努里(Bernulli)大数定律） 注 1. 此定理是切比雪夫大数定律的推论. 2. 此定理以严格的数学形式描述了频率的稳定性. 设 是n次重复独立试验中事件A发生的频率， p是事件A在每次试验中发生的概率, 则对任意 3.小概率事件原理 概率很小的事件，在一次试验中几乎是不可能发生的，从而在实际中可看成不可能事件. 定理5.1.3 辛钦大数定律 设Xk，k=1,2…是相互独立同分布的随机变量序列,若Xk的数学期望存在，则{Xk}服从大数定律. 切比雪夫不等式 切比雪夫大数定理 伯努里大数定律 小概率事件原理 林德伯格—列维 中心极限定理 棣莫佛—拉普拉斯 中心极限定理 辛钦大数定律 例5.1.1 设随机变量序列 X1, X2,···, Xn··· 服从如下的分布: P{ Xn = 0 }= 1 ? P{ Xn = 2n }= 则对任意的 ? ? 0, 有 故 {Xn} 依概率收敛于 0. 但无论对多大的n, Xn都可能取远离 0 的值 2n. ? 马尔科夫不等式证明 证 仅证明连续型随机变量的情形，设随机变