随机变量介绍.pptxVIP

刘业政2016年12月3日概率论与统计推断03：随机变量(2)数学期望不等式随机变量收敛数学期望不等式随机变量收敛期望(均值、一阶矩)随机变量X的期望(1)：随机变量X的期望(2)：设X1,X2,...,Xn是独立同分布随机样本，则：因变量的期望问题假设随机变量Y是随机向量X={X1,X2,...,Xk}的函数Y=r(X)，我们如何求Y的期望？懒惰统计学家法则：因变量的期望问题随机变量变换法则：根据Y=r(X)和X的分布，计算出Y的边际分布，然后再计算Y的期望。求变换的三个步骤：求集合AY={X：r(X)≤y}：确定边际分布的积分边界。计算CDF：计算PDF：fY(y)=dFY(y)/dy因变量的期望问题特殊情形1：如果Y=r(X)是X的线性函数，则：E(Y)=r(E(X))。特殊情形2：如果Y=Xj,j={1,2,...,k}，且X1,X2,...,Xk互相独立，则：E(Y)=(E(Xj))。条件期望问题假设X,Y为随机变量，r(x,y)为x,y的函数，则条件期望为：期望举例变换法则：首先计算X1,X2的联合概率密度函数：f(x1,x2)=1,x1,x2[0,1]，则FY(y)=∫AYdx1dx2=AY，关键是确定积分范围AY={X:Y≤y}。x1x21103/41/4期望举例变换法则：类似的，对于Z=4X1X2，关键是计算AZ。最后计算期望:协方差与相关系数设X,Y是均值分别为X和Y，标准差分别为X和Y的两个随机变量，定义X,Y的协方差和相关系数分别为：Cov(X,Y)=E((X-X)(Y-Y))；X,Y=Cov(X,Y)/XY设X={X1,X2,...,Xk}为随机向量，则X的方差-协方差矩阵定义为：=[Cov(Xi,Xj)]K×Kk阶矩和k阶中心矩称E(Xk)=∫xkf(x)dx为X的k阶矩。如果X的k阶矩存在，且jk，则X的j阶矩也一定存在。矩存在是指其积分值有限。k=1就是期望，所以期望也称为一阶矩。称E((X-)k)=∫(x-)kf(x)dx为X的k阶中心矩。k=2时的二阶中心矩称为方差。矩母函数(MomentGeneratingFunction，矩生成函数)通过对随机变量X的密度函数做拉普拉斯变换，即可得到矩的母函数X(t)：X(t)=∫f(x)etxdx=∫etxdF(x)=E(etX)，t为实数。为什么要做拉普拉斯变换？因为有些随机变量的高阶矩很难计算，我们可以间接通过矩母函数来求高阶矩。高阶矩的计算当母函数存在时，微分算子与期望算子可以互换，因此：这样我们可以通过计算母函数在t=0点的n阶导数值来计算X的n阶矩。高阶矩计算举例设Y1,Y2是两个参数分别为1和2的Poisson分布，且相互独立。1)计算Y1的矩母函数和n阶矩；2)若Y=Y1+Y2，判断Y的分布。解：1)高阶矩计算举例解：2)由于Y1,Y2独立，则Y(t)=E(etY)=E(et(Y1+Y2))=E(etY1etY2)=E(etY1)E(etY2)Y(t)是Poisson(1+2)的矩母函数，Y服从参数为(1+2)的Poisson分布。数学期望不等式随机变量收敛数学期望不等式随机变量收敛概率不等式的意义我们在对事物进行评估时，经常要计算性能及其可能性，而这种可能性往往只能给出一个界限(收敛性)，比如达到最优解的可能性不低于85%。下面介绍几个重要的不等式。马尔可夫(Markov)概率不等式设X为一非负的随机变量，且E(X)存在，则对于任意t0，有切比雪夫(Chebyshev)概率不等式设E(X)=，V(x)=2。则：举例：神经网络二分类器的误差估计假设检验样本数为n；如果第i次预测错误，则Xi=1，否则Xi=0，每个Xi可认为是独立伯努利同分布，参数为p(真实误差率，X的期望)。根据实验结果判断p的范围及其可能性。解：根据实验，我们所观察到的误差率以及误差率的方差为：举例：神经网络二分类器的误差估计利用切比雪夫不等式，有：即真实误差率与观察误差率相差小于(置信区间)的概率大于1-1/4n2。霍夫丁(Hoeffding)概率不等式设随机变量Y的期望为0。独立观察n次Y的结果记为Y1,...,Yn，且ai≤Yi≤bi。令0，则对于任意t0，有：霍夫丁(Hoeffding)概率不等式设X1,...,Xn服从参数为p的伯努利分布，则对于任意0，有：霍夫丁不等式提供了一种更紧致的置信区间分析办法。c(Mill)概率不等式设X服从标准正态分布N(0,1)，则有：柯西-施瓦茨(Cauchy-Schwartz)期望不等式设随机变量X,Y具有有限方差，则有：詹森(Jensen)期望不等式如果g是凸函数，则g(EX)≤E[g(X)]；如果g是凹函数，则g(EX)≥E[g(X)]。凸函数：对于所有x，g