常见的协方差与相关系数.ppt

协方差与相关系数 对于二维随机向量(X,Y)来说,数学期望E(X)、E(Y)只反映了X与Y各自的平均值,方差只反映了X与Y各自离开均值的偏离程度,它们对X与Y之间相互关系不提供任何信息. 但二维随机向量(X,Y)的概率密度p(x,y)或分布列pij全面地描述了(X,Y)的统计规律,也包含有X与Y之间关系的信息.我们希望有一个数字特征能够在一定程度上反映这种联系. 问题的提出： 二、相关系数的概念及性质 一、协方差的概念及性质 三、协方差的关系式 定义：设二维随机向量(X,Y)的数学期望(E(X),E(Y))存在,若E[(X-E(X))(Y-E(Y))]存在,则称它为随机变量X与Y的协方差,记为Cov(X,Y),即 Cov(X,Y)= E[(X-E(X))(Y-E(Y))] 协方差有计算公式 Cov(X,Y)= E(XY)-E(X)E(Y) 任意两个随机变量X与Y的和的方差为 D(X+Y)=D(X)+D(Y)+2Cov(X,Y) §1 协方差 协方差的性质 1. 2. a,b是常数 3. 4. 定理:Cov(X,Y)=Cov(Y,X) 证明 Cov(X,Y)= E[(X-E(X))(Y-E(Y))] = E[(Y-E(Y)) (X-E(X))] = Cov(Y,X) 定理: Cov(aX,bY)=abCov(X,Y),a,b是常数 证明 Cov(aX,bY)=E[(aX-E(aX))(bY-E(bY))] =E{[a(X-E(X))][b(Y-E(Y))]} =abE{[X-E(X)][Y-E(Y)]} =abCov(X,Y) 定理:Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z) 证明 Cov(X+Y,Z) =E{[(X+Y)-E(X+Y)][Z-E(Z)] = E{[(X-E(X))+(Y-E(Y))][Z-E(Z)]} = E{[X-E(X)][Z-E(Z)] +[Y-E(Y)][Z-E(Z)]} =E{[X-E(X)][Z-E(Z)]} +E{[Y-E(Y)][Z-E(Z)]} =Cov(X,Z)+Cov(Y,Z) 协方差的数值在一定程度上反映了X与Y相互间的联系,但它受X与Y本身数值大小的影响.如令X*=kX,Y*=kY,这时X*与Y*间的相互联系和X与Y的相互联系应该是一样的,但是 Cov(X*,Y*)=k2Cov(X,Y) 为了克服这一缺点,在计算X与Y的协方差之前,先对X与Y进行标准化: 再来计算X*和Y*的协方差，这样就引进了相关系数的概念. 定义:设二维随机变量(X,Y)的方差D(X)0,D(Y)0,协方差Cov(X,Y)均存在,则称 为随机变量X与Y的相关系数或标准协方差. §2 相关系数 引理:对于二维随机向量(X,Y),若E(X2),E(Y2)存在,则有 |E(XY)|2≤E(X2)E(Y2) 证明:考虑实变量t的二次函数 h(t)=E[(tX-Y)2]=t2 E(X2)-2tE(XY)+E(Y2) 因为对一切t,有(tX-Y)2≥0,所以h(t)≥0. 从而二次方程h(t)=0或者没有实根,或者只有重根,因而，由二次方程根的判别式知识得 |E(XY)|2≤E(X2)E(Y2) §2.1 相关系数的性质 性质1:随机变量X和Y的相关系数满足|ρXY|≤1. 性质2: |ρXY|=1 的充要条件是,存在常数a,b使得 P{Y=a+bX}=1. 性质3:若X与Y相互独立,则ρXY=0. 性质1:随机变量X和Y的相关系数满足|ρXY|≤1. 证明 令 则 从而|ρXY|≤1. 性质2: |ρXY|=1 的充要条件是,存在常数a,b使得P{Y=aX+b}=1 证明 令 由ρXY2=[E(X*Y*)]2≤E(X*)E(Y*)=1 知|ρXY|=1等价于[E(X*Y*)]2-E(X*)E(Y*)=0 它又等价于h(t)=E[(tX*-Y*)2]=0有重根t0. 又因为E(t0X*-Y*)=t0E(X*)-E(Y*)=0 所