随机变量精读.pptx

刘业政 2017年3月27日 概率论与统计推断 03： 随机变量(2) 数学期望 不等式 随机变量收敛 数学期望 不等式 随机变量收敛 期望(均值、一阶矩) 随机变量X的期望(1)： 随机变量X的期望(2)：设X1,X2,...,Xn是独立同分布随机样本，则： 因变量的期望问题 假设随机变量Y是随机向量X={X1,X2,...,Xk}的函数Y=r(X)，我们如何求Y的期望？ 懒惰统计学家法则： 因变量的期望问题 随机变量变换法则：根据Y=r(X)和X的分布，计算出Y的边际分布，然后再计算Y的期望。求变换的三个步骤： 求集合AY={X：r(X)≤y}：确定边际分布的积分边界。 计算CDF： 计算PDF：fY(y)=dFY(y)/dy 因变量的期望问题 特殊情形1：如果Y=r(X)是X的线性函数，则： E(Y)=r(E(X))。 特殊情形2：如果Y= ?Xj, j={1,2,...,k}，且X1,X2,...,Xk互相独立，则： E(Y)= ?(E(Xj))。 条件期望问题 假设X,Y为随机变量，r(x,y)为x,y的函数，则条件期望为： 期望举例 变换法则：首先计算X1,X2的联合概率密度函数： f(x1,x2)=1, x1,x2?[0,1]，则FY(y)=∫AYdx1dx2=AY，关键是确定积分范围AY={X: Y≤y}。 x1 x2 1 1 0 3/4 1/4 期望举例 变换法则：类似的，对于Z=4X1X2，关键是计算AZ。 最后计算期望: 协方差与相关系数 设X,Y是均值分别为?X和?Y，标准差分别为?X和?Y的两个随机变量，定义X,Y的协方差和相关系数分别为： Cov(X,Y)=E((X-?X) (Y-?Y)) ； ?X,Y=Cov(X,Y)/?X?Y 设X={X1,X2,...,Xk}为随机向量，则X的方差-协方差矩阵定义为：?=[Cov(Xi,Xj)]K×K k阶矩和k阶中心矩 称E(Xk)=∫xkf(x)dx为X的k阶矩。如果X的k阶矩存在，且jk，则X的j阶矩也一定存在。矩存在是指其积分值有限。k=1就是期望，所以期望也称为一阶矩。 称E((X-?)k)=∫(x-?)kf(x)dx为X的k阶中心矩。k=2时的二阶中心矩称为方差。 矩母函数(Moment Generating Function，矩生成函数) 通过对随机变量X的密度函数做拉普拉斯变换，即可得到矩的母函数?X(t)： ?X(t)=∫f(x)etxdx= ∫etxdF(x)=E(etX)，t为实数 。 为什么要做拉普拉斯变换？因为有些随机变量的高阶矩很难计算，我们可以间接通过矩母函数来求高阶矩。 高阶矩的计算 当母函数存在时，微分算子与期望算子可以互换，因此： 这样我们可以通过计算母函数在t=0点的n阶导数值来计算X的n阶矩。 高阶矩计算举例 设Y1,Y2是两个参数分别为?1和?2的Poisson分布，且相互独立。1)计算Y1的矩母函数和n阶矩；2)若Y=Y1+Y2，判断Y的分布。 解：1) 高阶矩计算举例 解：2)由于Y1,Y2独立，则?Y(t)=E(etY)=E(et(Y1+Y2))=E(etY1etY2)=E(etY1) E(etY2) ?Y(t)是Poisson(?1+?2)的矩母函数，Y服从参数为(?1+?2)的Poisson分布。 数学期望 不等式 随机变量收敛 数学期望 不等式 随机变量收敛 概率不等式的意义 我们在对事物进行评估时，经常要计算性能及其可能性，而这种可能性往往只能给出一个界限(收敛性)，比如达到最优解的可能性不低于85%。下面介绍几个重要的不等式。 马尔可夫(Markov)概率不等式 设X为一非负的随机变量，且E(X)存在，则对于任意t0，有 切比雪夫(Chebyshev)概率不等式 设E(X)=?，V(x)=?2。则： 举例：神经网络二分类器的误差估计 假设检验样本数为n；如果第i次预测错误，则Xi=1，否则Xi=0，每个Xi可认为是独立伯努利同分布，参数为p(真实误差率，X的期望)。根据实验结果判断p的范围及其可能性。 解：根据实验，我们所观察到的误差率以及误差率的方差为： 举例：神经网络二分类器的误差估计 利用切比雪夫不等式，有： 即真实误差率与观察误差率相差小于?(置信区间)的概率大于1-1/4n?2。 霍夫丁(Hoeffding)概率不等式 设随机变量Y的期望为0。独立观察n次Y的结果记为Y1,...,Yn，且ai≤Yi≤bi。令?0，则对于任意t0，有： 霍夫丁(Hoeffding)概率不等式 设X1,...,Xn服从参数为p的伯努利分布，则对于任意?0，有： 霍夫丁不等式提供了一种更紧致的置信区间分析办法。 c(Mill)概率不等式 设X服从标准正态分布N(0, 1)，则有： 柯西-施瓦茨(Cauchy-Sch