15协方差及相关系数.ppt

数理与信息工程系 数学教研室 机动 目录 上页 下页 返回 结束 前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映各随机变量之间关系的数字特征中，最重要的，就是本讲要讨论的 协方差和相关系数 任意两个随机变量X和Y的协方差,记为Cov(X,Y), 定义为 ⑶ Cov(X1+X2,Y)= Cov(X1,Y) + Cov(X2,Y) ⑴ Cov(X,Y)= Cov(Y,X) 一、协方差 2.简单性质 ⑵ Cov(aX,bY) = ab Cov(X,Y) a,b是常数 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]} 1.定义 (4) Cov(X,X)= D(X) ; Cov(X,a)= 0 Cov(X,Y)=E(XY) -E(X)E(Y) 可见，若X与Y独立， Cov(X,Y)= 0 . 3. 计算协方差的一个简单公式 由协方差的定义及期望的性质，可得 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]} =E[XY-E(X)Y-E(Y)X+E(X)E(Y) ] =E(XY)-E(X)E(Y) 即 =E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) D(X+Y)= D(X)+D(Y)+ 2Cov(X,Y) 4. 随机变量和的方差与协方差的关系 证明： 若X1,X2, …,Xn两两独立,，上式化为 D(X+Y)= D(X)+D(Y)+ 2Cov(X,Y) 4. 随机变量和的方差与协方差的关系 证明：设?(t)=E(X+tY)2，则 ?(t)=E(X2)+2tE(XY)+t2E(Y2)?0， 其判别式??0，即 ?=[2E(XY)]2-4E(X2)E(Y2)?0， 所以[E(XY)] 2?E(X2)E(Y2)。 5.许瓦兹不等式 [E(XY)] 2?E(X2)E(Y2) 协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响. 例如： Cov(kX, kY)=k2Cov(X,Y) 为了克服这一缺点，对协方差进行标准化，这就引入了相关系数 . 二、相关系数 为随机变量X和Y的相关系数 . 定义: 设D(X)0, D(Y)0, 称 在不致引起混淆时，记 为 . 相关系数的性质： 证: 由方差的性质和协方差的定义知, 对任意实数b,有 0≤D(Y-bX)= b2D(X)+D(Y)-2b Cov(X,Y ) 令 ，则上式为 D(Y- bX)= 由于方差D(Y)是正的,故必有1- ?2 ≥ 0,所以 | ? |≤1。 这一性质也可以用许瓦兹不等式证明 设U=X-E(X),V=Y-E(Y), 由许瓦兹不等式[E(UV)]2?E(U2)E(V2)， 知[E((X-E(X))(Y-E(Y)))]2 ?E[(X-E(X))2] E[(Y-E(Y))2] 所以?2XY ?1, 即| ?XY |?1 存在常数a,b(b≠0）， 使P{Y=a+bX}=1， 即X和Y以概率1线性相关. 2. | ?XY |=1 考虑以X的线性函数a+bX来近似表示Y， 以均方误差 e =E{[Y-(a+bX)]2} 来衡量以a+bX近似表示Y的好坏程度, e值越小表示 a+bX与Y的近似程度越好. 用微积分中求极值的方法，求出使e 达到最小时的a,b . 相关系数刻划了X和Y间“线性相关”的程度. =E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y) e =E{[Y-(a+bX)]2 } 解得 这样求出的最佳逼近为 L(X)=a0+b0X 这样求出的最佳逼近为L(X)=a0+b0X 这一逼近的剩余是 若 =0， Y与X无线性关系; Y与X有严格线性关系; 若 可见, 若0| |1, | |的值越接近于1, Y与X的线性相关程度越高; | |的值越接近于0, Y与X的线性相关程度越弱. E[(Y-L(X))2]= D(Y)(1- ) 3. X和Y独立时， =0，但其逆不真. 由于当X和Y独立时，Cov(X,Y)= 0. 故 = 0 但由 并不一定能推出X和Y 独立. 例1 设X服从(-1/2, 1/2)内的均匀分布,而 Y=cos X, 因而 =0， 即X和Y不相关 . 但Y与X有严格的函数关系， 即X和Y不独立 . 因Cov(X,Y)=E(XY)-E(X)E(Y)， E(X)=0， 故 Cov(X,Y)=0 任意两个随机变量X和Y的协方差,记