清华大学概率论与数理统计笔记.docxVIP

抽样理论总体：研究对象的全体样本：从总体中随机抽取的数据。样本用大写字母表示。样本的观测值用小写字母表示。抽取的样本个数称为样本容量简单随机抽样： 随机性：样本分布和总体分布相同 独立性：各个样本X1,…,Xn是相互独立的总体参数，样本统计量样本均值：设X1,…,Xn是来自样本中的随机变量，样本平均X=X1+X2+…+Xnn对应的观测值（样本均值）x=x1+x2+…+xnn样本平均的抽样分布：1.数学期望设总体的数学期望为μ，则样本平均X的数学期望μX≔EX=μ样本平均的期望等于总体期望2.方差如果符合放回抽样，总体方差为σ2σX2≔EX-μ2=σ2n如果抽样不放回，总体大小为N，样本容量为n≤N，总体方差σ2σX2=σ2nN-nN-1≤σ2n3.分布如果总体服从N(μ,σ2)，抽样放回，则随机变量Z≔X-μσ/n服从N(0,1)Bernoullian实验的抽样比例分布如果一个Bernoullian实验样本容量为n，总体成功概率为p，样本成功频率为P，则μP=p,σP2=pqn在n30时，可以认为抽样比例服从正态分布。样本方差的分布如果X1,…,Xn表示容量为n的随机样本，样本方差定义为S2=X1-X2+…+Xn-X2n1.均值μS2≔ES2=n-1nσ2证明：X1-X=1nn-1X1-X2-…-Xn=1n[n-1X1-μ-X2-μ-…-(Xn-μ)]所以X1-X2=1n2n-12X1-μ2+X2-μ2+…+Xn-μ2+crossterms交叉项的数学期望为零EX1-X2=1n2n-1σ2+σ2+…+σ2=n-1nσ2所以，μS2≔ES2=1ni=1nEXi-X2=n-1nσ2对于有限总体，不放回抽样，ES2=NN-1n-1nσ2如果某个统计量(statistic)的数学期望等于总体相应参数的期望，则该统计量无偏(unbiased)，统计值为该参数的无偏估计(unbiasedestimate)因此，S2是对σ2的biasedestimate。定义S2=nn-1S2ES2=σ2S2是对总体方差的无偏估计2.分布如果总体是方差为σ2的正态分布，则有nS2σ2=n-1S2σ2∼χ2(n-1)证明：令V1=nS2σ2=∑Xi-X2σ2V=∑Xi-μ2σ2则σ2V=∑Xi-X+X-μ2=∑Xi-X2+∑X-μ2+2∑(Xi-X)(X-μ)其中交叉项2X-μ∑Xi-X=0所以V=∑Xi-X2σ2+∑X-μ2σ2=V1+V2V是变量N=Xj-μσ的平方的求和。总体服从N(μ,σ2)，所以N服从N(0,1)，V服从χ2(n-1)的卡方分布根据样本均值的分布，V2服从χ2(1)，所以V1服从χ2(n-1)用统计量对总体方差进行估计使用σ的无偏估计 S，T=X-μS/n服从自由度为n-1的t分布。当n很大(30)时，t分布渐进正态Z=X-μS/n服从N(0,1)频率分布把样本数据(rawdata)分为若干组(class,category)，求得样本中元素属于各组的频率，形成频率分布表。频率分布表中应当表示出分组区间(classinterval)，如60~62，但实际区间的界限(boundary)是59.5~62.5，分组长度c=3。区间的中值称为标识值(classmark)计算均值、方差、力矩等均以标识值为准方差率分布如果分别从两个方差为σ12和σ22的总体中取出两个容量分别为m和n的样本，方差分别为S12和S22，则随机变量S12/σ12S22/σ22服从自由度为m-1、n-1的F分布估计理论无偏估计和有效估计：若样本统计量的期望和总体对应参数期望相等，称这个统计量是总体参数的无偏估计(unbiasedestimate)。如果两个统计量的期望相等，则方差较小的称为有效估计(efficientestimate)。例如，有总体{X1,…,X2k+1}，则中位数Xk和均值X都是对总体平均值的无偏估计，但是中位数的方差σXk2=σ22π期望方差σX2=σ22k+1所以数学期望是对总体平均值的有效估计点估计，区间估计，可靠性置信区间与置信水平：真实值落在估计区间I的概率为α，则称I是真实值的α-置信区间，置信度为α计算置信区间：每种分布都有临界值，一般要求置信区间两端的尾概率相等极大似然估计（Fischer方法）假设有n个依赖于参数θ的独立观测量X1,…,Xn联合密度函数L=fx1,θfx2,θ…f(xn,θ)当L取极大值，即dLdθ=0时，即1LdLdθ=dlnLdθ=0此时的参数θ=θ(x1,…,xn)称为参数θ的极大似然估计量。