协方差与相关系数.pptVIP

* * 前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的是 协方差和相关系数 §4.3 协方差和相关系数 任意两个随机变量 X 和 Y 的协方差, 记为 Cov(X,Y), 或σXY 定义为: ⑶ Cov(X1+X2,Y)= Cov(X1,Y) + Cov(X2,Y) ⑴ Cov(X, Y)= Cov(Y, X) 一. 协方差 2. 简单性质 ⑵ Cov(aX, bY) = ab Cov(X, Y) a, b是常数 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]} 1. 定义 Cov(X,Y)=E(XY) -E(X)E(Y) 可见，若X与Y独立， Cov(X,Y)= 0 . 3. 计算协方差的一个简单公式 由协方差的定义及期望的性质，可得 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]} =E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) =E(XY)-E(X)E(Y) 即 若 X1, X2, …, Xn 两两独立, 上式化为 D(X±Y)= D(X)+D(Y)± 2Cov(X,Y) 4. 随机变量和的方差与协方差的关系 常用上式计算随机变量和的方差. 协方差的大小在一定程度上反映了 X 和 Y 相互间的关系，但它还受 X 与 Y 本身度量单位的影响. 例如： Cov(kX, kY)=k2Cov(X,Y) 为了克服这一缺点，对协方差进行标准化: 于是引入相关系数 的概念 二. 相关系数 为随机变量 X 和 Y 的相关系数 . 定义: 设D(X)0, D(Y)0, 称 在不致引起混淆时，记 为 . 由于当 X 和 Y 独立时，Cov(X,Y)= 0. 故 = 0 但由 并不一定能推出 X 和 Y 独立. 请看下例. 相关系数的性质： 1. X 和 Y 独立时,ρ=0, 但其逆不真. 例1. 设 X~U(-1/2, 1/2), Y=cosX, （请课下自行验证） 因而 =0， 即 X 和 Y 不相关 . 但 Y 与 X 有严格的函数关系， 即 X 和 Y 不独立 . 不难求得，Cov(X,Y)=0， 证: 对任意实数 b, 有, 0≤D(Y-bX)= E[(Y-bX-E(Y-bX)]2 = E[(Y-EY)-b(X-EX)]2 = b2D(X)-2b Cov(X,Y )+D(Y) ?=4[Cov(X,Y )]2- 4D(X)D(Y)≤0 即 X 和 Y 以概率 1 线性相关. 存在常数 a, b (b≠0), 使得 P{Y=a+bX}=1， 证明: 考虑以 X 的线性函数 a+bX 来近似表示 Y， 以均方误差 e =E{[Y-(a+bX)]2} 来衡量以 a+bX 近似表示 Y 的好坏程度, e 值越小表示 a+bX 与 Y 的近似程度越好. 用微积分中求极值的方法，求出使e 达到最小时的 a, b . 相关系数刻划了 X 和 Y 间“线性相关”的程度. =E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y) e =E{[Y-(a+bX)]2 } 这样求出的最佳逼近为: L(X)=a0+b0X 解得 这样求出的最佳逼近为L(X)=a0+b0X 这一逼近的剩余是 若 =0， Y 与 X 无线性关系; Y 与 X 有严格线性关系; 若 可见, 若0| |1, | |的值越接近于1, Y与X的线性相关程度越高; | |的值越接近于0, Y与X的线性相关程度越弱. E[(Y-L(X))2]= D(Y)(1- ) 当ρ0时, L(X) 中 X 的系数大于0, 即Y 的最佳逼近 a+ bX 随 X 增加而增加, 这就是正向相关; 反之, ρ0 表示负向相关, 此时 Y 的最佳逼近 a+bX 随 X 增加而减小. E[(Y-L(X))2]= D(Y)(1- ) 相关系数度量的是两变量间的相关关系 (“线性相关”的程度). 但相关关系并不等于因果关系. 但对下述情形，独立与不相关等价 若(X,Y)服从二维正态分布，相关系数=ρ X与Y独立 X与Y不相关 注意： 若 X 与 Y 独立，则 X 与 Y 不相关， 但由 X 与 Y 不相关, 不一定能推出 X 与 Y 独立. 1. 矩: 三 矩、协方差矩阵 X和Y的k+L阶混合原点矩: X和Y的k+L阶混合中心矩: 一阶矩、二阶矩常用, 是数理统计的基本概念. 2. 协方差矩阵的定义 将二维随机变量（X1, X2）的四个二阶中心矩 排成矩阵