协方差矩阵资料简介.ppt

* * 前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是现在要讨论的 4.4 协方差和相关系数 在讨论这个问题之前，我们先看一个例子。 在研究子女与父母的相象程度时，有一项是关于父亲的身高和其成年儿子身高的关系. 这里有两个变量，一个是父亲的身高，一个是成年儿子身高. 为了研究二者关系. 英国统计学家皮尔逊收集了1078个父亲及其成年儿子身高的数据, 画出了一张散点图. 那么要问：父亲及其成年儿子身高是一种什么关系呢？ 类似的问题有： 吸烟和患肺癌有什么关系？ 受教育程度和失业有什么关系？ 任意两个随机变量X和Y的协方差,记为Cov(X,Y), 定义为 ⑶ Cov(X1+X2,Y)= Cov(X1,Y) + Cov(X2,Y) ⑴ Cov(X,Y)= Cov(Y,X) 4.4.1 协方差 2.简单性质 ⑵ Cov(aX,bY) = ab Cov(X,Y) a,b是常数 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]} 1.定义 Cov(X,Y)=E(XY) -E(X)E(Y) 可见，若X与Y独立， Cov(X,Y)= 0 . 3. 计算协方差的一个简单公式(性质4) 由协方差的定义及期望的性质，可得 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]} =E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) =E(XY)-E(X)E(Y) 即 若X1,X2, …,Xn两两独立,，上式化为 D(X+Y)= D(X)+D(Y)+ 2Cov(X,Y) 4. 随机变量和的方差与协方差的关系 常用上式计算不互相独立的随机变量和的方差. 例4.16 设二维随机变量（X，Y）的概率密度为 试求cov(X, Y),并讨论X与Y是否相互独立。 解 所以 同理， 显然， 所以X与Y 不相互独立。 而 所以 Cov(X,Y)=E(XY) -E(X)E(Y) =0 注： Cov(X,Y)= 0 时，称X与Y不相关。此例说明， X与Y不相关，不一定相互独立。 例4.17 已知随机变量(X,Y)的分布律如下表，问X，Y是否相关？是否独立。？ X -2 0 2 Y -2 0 2 0 1/4 0 1/4 0 1/4 0 1/4 0 Pi. 1/4 1/2 1/4 P.j 1/4 1/2 1/4 1 解 类似地有 易知XY的分布为 XY -4 0 4 P 0 1 0 于是 E(XY)=(-4) ×0 + 0×1 + 4×0 = 0 Cov(X,Y) = E(XY)-E(X)E(Y)= 0 所以X与Y不相关。 X -2 0 2 Y -2 0 2 0 1/4 0 1/4 0 1/4 0 1/4 0 Pi. 1/4 1/2 1/4 P.j 1/4 1/2 1/4 1 但P(X= 0, Y= 0) = 0≠P(X=0) P(Y=0) = 1/4 故X与Y不相互独立。 定理4.1(Cauchy-Schwarz不等式)设Ｕ，Ｖ是 两个随机变量，Ｅ(U2),E(V2)存在，则 协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响. 例如： Cov(kX, kY)=k2Cov(X,Y) 为了克服这一缺点，对协方差进行标准化: 这就引入了相关系数 . 4.4.2 相关系数 为随机变量X和Y的相关系数 . 定义: 设D(X)0, D(Y)0, 称 在不致引起混淆时，记 为 . 相关系数的性质： 在定理３.１中，令Ｕ＝Ｘ－Ｅ(X),V=Y-E(Y), 证: 得 2. X和Y独立时， =0，但其逆不真. 由于当X和Y独立时，Cov(X,Y)= 0. 故 = 0 但由 并不一定能推出X和Y 独立. 注意： 不存在线性关系，但它们可能存在其他关系。 ,即Cov(X,Y)= 0时，仅表示X与Y 存在常数a,b(b≠0）， 使P{Y=a+bX}=1， 即X和Y以概率1线性相关. 相关系数ρ是随机变量X和Y之间线性相关程度的一个度量。 ρ 0表示正相关； ρ 0表示负相关； ρ 接近于0表示X和Y之间几乎没有线性关 系，但它们之间可能有其他关系。 例4.18 已知随机变量(X,Y)的分布律如