概率论与数理统计15讲.pptVIP

概率论与数理统计第15讲 协方差与相关系数 定性的思考 通常人们在研究单个的随机变量的时候, 并不关心它们的分布, 而是关心它们的数学期望和方差, 这也是因为分布携带了太多的信息, 很难给人们一个快捷的印象. 而人们在研究两个随机变量的关系的时候, 也不关心它们的联合分布, 这是携带了更多信息的内容. 人们关心的是, 这两个随机变量是联系非常紧密呢? 还是毫无关系?即相互独立? 人们希望用一个数字就能够在相当程度上描述两个随机变量的联系程度. 当然, 从数学上看, 这是不可能的 因为联合分布的信息量为许多个数, 甚至无穷多个数, 因此一个数不可能反映出无穷多个数携带的信息. 但是我们仍然希望能够找到描述它们之间相互关系的一个数, 至少在大多数实际情况下能够描绘两个随机变量联系的紧密程度, 例如, 如果这个数字越接近于零, 说明这两个随机变量的联系越差, 越接近于相互独立, 反之则联系越紧密, 越接近于相互之间有关系. 例如 一个人的身高和体重是非常有关系的, 但是又并不完全是严格的函数关系, 那么关系程度究竟有多大呢? 一个人的吸烟量和他的平均寿命是有关系的, 这个关系量又有多大呢? 一种化肥的施用量和农作物的产量是有关系的, 这个关系的大小又是如何呢? 这样一些问题都希望能够用一个数字就表示出来, 这就是人们想到要用协方差和相关系数的原因. 对于两个随机变量X和Y 当它们是完全相等的时候, 联系是最紧密的了.而当它们相互独立的时候, 联系是最差的了. 我们先研究它们的和X+Y的方差: D(X+Y)=E[X+Y-E(X+Y)]2 =E[X-E(X)+Y-E(Y)]2 =E{[X-E(X)]2+[Y-E(Y)]2+2[X-E(X)][Y-E(Y)]} =E[X-E(X)]2+E[Y-E(Y)]2+2E{[X-E(X)][Y-E(Y)]} =D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]} D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]} 关键在后一项2E{[X-E(X)][Y-E(Y)]}, 我们定义E{[X-E(X)][Y-E(Y)]}为X和Y的协方差, 用cov(X,Y)表示. 则 D(X+Y)=D(X)+D(Y)+2cov(X,Y) D(X+Y)=D(X)+D(Y)+2cov(X,Y) 当X和Y相互独立时, 联系最不紧密, 这时候 cov(X,Y)=0, 因此D(X+Y)=D(X)+D(Y) 而当X=Y时, 联系最紧密, 这时候D(X)=D(Y)=cov(X,Y), 因此D(X+Y)=D(2X)=4D(X) 因此，协方差cov(X,Y)的大小可以反映X和Y之间联系紧密程度的大小. 当cov(X,Y)=0的时候, X和Y联系最不紧密, 而当cov(X,Y)的绝对值较大的时候, X和Y的联系较为紧密,但紧密的程度, 却和X与Y的方差D(X)和D(Y)有关. 为去除这个因素, 因此定义 现证明|?|?1 令X=X-E(X),Y=Y-E(Y), 则X,Y都是期望值为0的随机变量. 对于任给的实数t, 相信E[(X+tY)2]?0, 即E(X2)+2tE(XY)+t2E(Y2)?0, 即是说关于t的一元二次方程E(X2)+2tE(XY)+t2E(Y2)=0最多只有单个实根或者没有实根, 也就说明判别式 b2-4ac?0 E(X2)+2tE(XY)+t2E(Y2)=0 b2-4ac?0 再考虑当|?|=1时会是什么情况, 这时方程 E(X2)+2tE(XY)+t2E(Y2)=0存在着一个单根, 假设这单根为t0, 则有 E(X2)+2t0E(XY)+t02E(Y2)=0 即E[(X+t0Y)2]=0 E[(X+t0Y)2]=0, 而当一个总是取非负值的随机变量的期望值为0时, 答案只能是此随机变量就是常数0, 即存在着实数t0使得X+t0Y=0, 即X和Y的离差是正好成比例的, 我们将这种情况称作X与Y呈线性关系, 因此就有定理(接后页) 定理 两个随机变量X和Y呈线性关系的充分必要条件, 是它们的相关系数的绝对值为1, 即 |?|=1 而另一方面, 如果X与Y相互独立, 则它们的相关系数必为0, 即?=0. 当然, 数学家们会喋喋不休地宣传当?=0时未见得X与Y相互独立, 并在作业或者例子中经常给出反例. 但是, 作为经验之谈, 当?=0时, 两个随机变量确实关系不大了.这也是相关系数被广泛使用的原因. 协方差的统计 对协方差E{[X-E(X)][Y-E(Y)]}的统计是这样, 先是通过试验获得了X和Y的n对数据(x1,y1),(x2,y2),...,(xn,yn)然后令 几种重要的分布 二项分布 在第一章介绍过独立试验概型 作n次相互独立的试验, 每次试验事件A出现的概率为p,