第十四讲 大数定律与中心极限定理.doc

第十四讲 大数定律及中心极限定理 1.依概率收敛 与微积分学中的收敛性的概念类似, 在概率论中, 我们要考虑随机变量序列的收敛性. 定义1 设是一个随机变量序列, 为一个常数,若对于任意给定的正数,有 则称序列依概率收敛于, 记为 定理1 设又设函数在点连续, 则 . 2. 切比雪夫不等式(以前讲过) 设随机变量有期望和方差,则对于任给, 有 . 上述不等式称切比雪夫不等式. 3. 大数定理 定理1 (切比雪夫大数定律)设,相互独立，且具有相同的数学期望和方差: ,。 做前n个随机变量的算术平均 则对任意正数, 有 或者说， 序列以概率收敛于， 即 定理表明: 当很大时,随机变量序列的算术平均值依概率收敛于其数学期望. 定理2 (伯努利大数定律)设是重伯努利试验中事件发生的次数, 是事件在每次试验中发生的概率, 则对任意的, 有 或 . 定理3 (辛钦大数定律) 设随机变量相互独立, 服从同一分布,且具有数学期望 则对任意, 有 . 注: (i) 定理不要求随机变量的方差存在; (ii) 伯努利大数定律是辛钦大数定律的特殊情况; (iii) 辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径. 例如, 要估计某地区的平均亩产量, 可收割某些有代表性的地块, 如块,计算其平均亩产量, 则当较大时,可用它作为整个地区平均亩产量的一个估计. 此类做法在实际应用中具有重要意义. 4. 中心极限定理 中心极限定理回答了大量独立随机变量和的近似分布问题, 其结论表明: 当一个量受许多随机因素(主导因素除外) 的共同影响而随机取值, 则它的分布就近似服从正态分布. 定理4 (独立同分布的中心极限定理) （林德伯格—勒维定理） 设相互独立，服从同一分布, 且具有数学期望和方差： , 则随机变量之和的标准化变量 的分布函数对于任意满足 定理4表明: 当充分大时, 个具有期望和方差的独立同分布的随机变量之和近似服从正态分布. 虽然在一般情况下, 我们很难求出的分布的确切形式, 但当很大时, 可求出其近似分布. 由定理结论有 故定理又可表述为: 均值为, 方差为的独立同分布的随机变量的算术平均值, 当充分大时近似地服从均值为,方差为的正态分布. 这一结果是数理统计中大样本统计推断的理论基础. 定理5（李雅普诺夫定理） 设随机变量 相互独立, 它们具有数学期望和方差: ， 记 若存在正数, 使得当时, 则随机变量之和的标准化变量: 的分布函数对于任意, 满足 定理5表明, 在定理的条件下, 随机变量 当很大时,近似地服从正态分布. 由此, 当很大时,近似地服从正态分布.这就是说,无论各个随机变量服从什么分布,只要满足定理的条件,那么它们的和当很大时,就近似地服从正态分布. 定理6（棣莫佛—拉普拉斯定理）设随机变量服从参数的二项分布, 则对任意, 有 证明：以为参数的二项分布变量，可以分解为n个相互独立且都服从以为参数的(0-1)分布的随机变量之和，即有 ， 其中的分布律为 由于 ，由定理4得 定理6表明，正态分布是二项分布的极限分布。当n充分大时，可以利用该定理中的公式来计算二项分布的概率。 第五章 大数定律及中心极限定理 §1 大数定律 在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数。在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。 下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。 事件的频率稳定于概率，能否有，答案是否定的。而是用 [依概率收敛]来刻画（弱）。或者用 [a.e.收敛] 来刻画（强）。 注：(i) 伯努利大数定律是定理1的推论的一种特例, 它表明: 当重复试验次数充分大时, 事件发生的频率依概率收敛于事件发生的概率.定理以严格的数学形式表达了频率的稳定性. 在实际应用中, 当试验次数很大时,便可以用事件发生的频率来近似代替事件的概率. (ii) 如果事件的概率很小，则由伯努利大数定律知事件发生的频率也是很小的，或者说事件很少发生. 即“概率很小的随机事件在个别试验中几乎不会发生”，这一原理称为小概率原理，它的实际应用很广泛. 但应注意到，小概率事件与不可能事件是有区别的. 在多次试验中，小概率事件也可能发生. 在实际问题中, 许多随机现象是由大量相互独立的随机因素综合影响所形成, 其中每一个因素在总的影响中所起的作用是微小的. 这类随机变量一般都服从或近似服从正态分布. 以一门大炮的射程为例, 影响大炮的射程的随机因素包括: 大炮炮身结构的制造导致的误差, 炮弹及炮弹内炸药在质量上的误差, 瞄准时的误差, 受风速、风向的干扰而造成