北邮概率论与数理统计4.3协方差与相关系数.doc

§4.3 协方差与相关系数 与一维随机变量一样，多维随机变量也有特征数，比如对于二维随机向量，除了各个分量的期望、方差：之外，还有用以刻画与的关联程度的特征数，即协方差与相关系数。 一.协方差与相关系数 的联合分布中除含有各分量的信息(边际分布及各分量的特征数等)外,还含有两个分量间相互关联的信息,他们的相依关系可由条件分布完整刻画.在实用中,我们更希望有一个“醒目”的数值来刻画他们之间的某种意义上的相依程度,即希望找到一个用以描述他们某种关联程度的特征数.下面介绍的协方差和相关系数就是为此目的而引入的. 定义 设为二维随机向量,若存在,则称为与的协方差,记为,即 又若,的方差都存在且非零,则称 为与的相关系数. 由此定义可以看出: (1) 与的相关系数是的标准化随机变量与的标准化随机变量的协方差,因此可以把相关系数视为“标准尺度下的协方差”,他是一个无量纲的量,这样就能更好地描述与的相依关系. (2) 协方差是与其均值的偏差和与其均值的偏差乘积的均值,他是有量纲的,并且可正、可负或为零.若,则意味着与同号的“情况”更多,换言之就是, 取偏大(小)的值时,有取偏大(小)值的趋势或倾向. 若,则情况正好相反. 若,则意味着与同号的“情况”与异号的“情况”一样多.因此有以下说法. 若,即,则称与正相关; 若,即,则称与负相关;若,即,则称与不相关. 为了进一步看清楚相关系数的概率意义,我们下面讨论线性预测问题:假设是一个可观测的随机变量,而是一个难以观测的随机变量,我们希望找一个的函数去预测.函数千千万万,最简单的函数莫过于线性函数,这里考虑用的线性函数去预测,这就是线性预测问题. 自然地,我们需要考虑两个问题: 用什么样的线性函数去预测,使其预测效果最佳? 为预测,用什么样的,其线性预测的效果会好? 衡量预测效果的一个常用的准则是均方误差: 以此准则,我们先解决第一个问题, 易见 ,时,取得最小值.最小值为 . 由此可回答第二个问题,使得相关系数的绝对值愈接近于(由上面的讨论已经看出)的变量,用他的线性函数去预测时,其效果愈佳.特别地,若,则最佳线性预测的均方误差为零,这意味着可由可得到的准确无误的预测.若,则最佳线性预测的均方误差为,这意味着最佳线性预测就是的期望，换言之，此时的对的线性预测没有提供任何有价值的信息. 由此可见, 与的相关系数的绝对值刻画了与的线性关联程度, 愈接近于,与的线性关联程度愈强,反之愈接近于,与的线性关联程度愈弱,这就是相关系数的概率意义,因此相关系数又叫做线性相关系数. 由协方差的定义, 与的协方差是的函数的期望,可用前面介绍的多维随机变量的函数的期望的计算方法去计算协方差。但计算协方差时,我们常用下面公式: 证明: . 容易得出：若与独立,且，存在,则,即与不相关. 注意,上面命题的逆命题不成立,即与不相关推不出与相互独立(见下面例子).这一点从独立性和不相关性的概率意义上去理解是明显的:独立性是就一般而言的,而不相关性是就线性关系而言的.这也就是说,与不相关并不是说与没有相依性,他们之间可能有非线性关系. 例 设～,,证明: (1)与不相关;(2) 与不独立. 在与不相关时, 有,以及 . 在去掉“与不相关”之条件时，有更一般的公式 . 推广至更多个随机变量场合,有 . 协方差具有如下性质: (1) , (2), (3). 另外,下面的涉及协方差的公式也是有用的， , . 相关系数有如下性质: (1), (2) 的充要条件是存在常数,使得 并且；。 这两条性质都可由线性预测问题的结论推得,也可由下面介绍的施瓦茨不等式推得. 定理（施瓦茨不等式）对任意的二阶矩存在的随机变量与，有 证明：若（或），则不等式两边均为零，故不等式成立。 下面考虑的情形，考虑的二次函数 由于，且对，，故由二次函数性质知 所以 。不等式得证。 进一步，从证明过程可以看出，在时，不等式成立的充要条件是存在唯一的，使得，也即。 作为施瓦茨不等式的应用，下面证明相关系数的两条性质。 由施瓦茨不等式，有 所以 即； 若，即，上式成立的充要条件是存在唯一的，使得 即 ， 取，便有，并且还有 ；。 例 设二维随机向量的概率密度为 求. 解：， 因此 例 设～,求. 解：,,,， 。 上面计算过程中用到了 。 所以 。 由本章的第三节知，若～，则与相互独立当且仅当，再结合本例的结果可以得出如下结论。 若～，则与相互独立的充要条件是与不相关。这是多维正态分布的一个重要性质。 例 将一骰子掷次，表示点数出现的次数，。求（1）与的相关系数；（2）与的相关系数。 解：（1）由于，由相关系