随机变量的协方差矩阵.ppt

* 第四章 数字特征 理解数学期望概念，掌握它的性质与计算。 理解方差概念，掌握它的性质与计算。 掌握（0－1）分布，二项分布，泊松分布，正态 正态分布，指数分布的数学期望与方差。 掌握协方差、相关系数的概念及计算。 了解矩、协方差矩阵的概念。 第四章 数字特征 第四节 协方差及相关系数 一、协方差 二、相关系数 三、随机变量的相关性 四、矩 五、随机向量的协方差矩阵 第五节 矩、协方差矩阵 定性的思考 通常人们在研究单个的随机变量的时候, 并不关心它们的分布, 而是关心它们的数学期望和方差, 这也是因为分布携带了太多的信息, 很难给人们一个快捷的印象. 而人们在研究两个随机变量的关系的时候, 也不关心它们的联合分布, 这是携带了更多信息的内容. 人们关心的是, 这两个随机变量是联系非常紧密呢? 还是毫无关系?即相互独立? 人们希望用一个数字就能够在相当程度上描述两个随机变量的联系程度. 当然, 从数学上看, 这是不可能的 因为联合分布的信息量为许多个数, 甚至无穷多个数, 因此一个数不可能反映出无穷多个数携带的信息. 但是我们仍然希望能够找到描述它们之间相互关系的一个数, 至少在大多数实际情况下能够描绘两个随机变量联系的紧密程度, 例如, 如果这个数字越接近于零, 说明这两个随机变量的联系越差, 越接近于相互独立, 反之则联系越紧密, 越接近于相互之间有关系. 例如 一个人的身高和体重是非常有关系的, 但是又并不完全是严格的函数关系, 那么关系程度究竟有多大呢? 一个人的吸烟量和他的平均寿命是有关系的, 这个关系量又有多大呢? 一种化肥的施用量和农作物的产量是有关系的, 这个关系的大小又是如何呢? 这样一些问题都希望能够用一个数字就表示出来, 这就是人们想到要用协方差和相关系数的原因. 一、协方差 对于两个随机变量X和Y当它们是完全相等的时候, 联系是最紧密的了.而当它们相互独立的时候, 联系是最差的了. 因此我们先研究它们的和X +Y的方差: D(X+ Y)=E{X + Y -E(X + Y)}2 =E{X -E X + Y -E Y}2 =E{(X -EX)2+(Y -E Y)2+2(X -EX)(Y -E Y)} =E(X -EX)2+E(Y -E Y)2+2E{(X -EX)(Y -E Y)} =DX +DY+2E{(X -EX)(Y -E Y)} 定义1 量E{[X-E(X)][Y-E(Y)]}称为随机变量X与Y的协方差. 记为Cov(X,Y), 即 Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}. 由定义, 知协方差具有下述性质: (1) Cov(aX, bY)=abCov(X,Y), a,b是常数.(2) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y). (3) Cov[X,Y]=Cov[Y,X], Cov[X,X]=D(X). 由上述定义知道, 对于任意两个随机变量X和Y, 下列等式成立: D(X+Y)=D(X)+D(Y)+2Cov(X, Y). 将Cov(X,Y)的定义式展开, 易得 Cov(X,Y)=E(XY)-E(X)E(Y) D(X+Y)=DX+DY+2cov(X, Y)当X和Y相互独立时, 联系最不紧密, 这时候cov(X,Y)=0, 因此D(X+Y)=DX +DY 而当X=Y时, 联系最紧密, 这时候DX =DY =cov(X,Y), 因此D(X +Y)=D(2X)=4DX  协方差的计算 在已知两个随机变量X和Y的联合分布的情况下怎样计算它们的协方差cov(X,Y)呢, cov(X,Y)=E[(X-EX)(Y-EY)] =E[XY-XEY-YEX+EXEY] =E(XY)-EXEY-EYEX+EXEY =E(XY)-EXEY 即相乘的均值减去均值的相乘. 其中EX和EY是通过边缘分布计算的, 因此关键是如何计算E(XY). 对于离散型随机变量, 假设X,Y的概率函数为P(X=Xi,Y=yj)=pij, (i,j=1,2,...),则 对于连续型随机变量, 假设X,Y的联合概率密度为j(X,y), 则 假设X,Y的联合概率函数如下表所示 0 0 5/12 2 0 0 1/6 0 1/3 1/12 0 -1 1 1/3 0 X Y 例1 而X与Y的边缘分布及数学期望为: 5/12 1/6 5/12 P 2 0 -1 X 1/3 1/12 7/12 P 1 1/3 0 Y xi~N(0,1)(i=1,2,3), 并且x1,x2,x3相互独立, 例2 因此 二、相关系数与随机变量的相关性