多元统计分析教学资料：第十章典型相关分析.docVIP

第十章 典型相关分析 （Canonical Correlation Analysis） §10.1 引言 一、何时采用典型相关分析 1.两个随机变量Y与 X简单相关系数； 2.一个随机变量Y与一组随机变量 多重相关(复相关系数)； 3.一组随机变量与另一组随机变量典型(则)相关系数。 典型相关是简单相关、多重相关的推广；或者说简单相关系数、复相关系数是典型相关系数的特例。 典型相关是研究两组变量之间相关性的一种统计分析方法，也是一种降维技术。 二、实例 由Hotelling (1935, 1936)最早提出，Cooley and Lohnes (1971)、 Kshirsagar (1972)和 Mardia, Kent, and Bibby (1979) 推动了它的应用。 实例（X与Y地位相同） 1985年中国28 省市城市男生(19～22岁)的调查数据。记形态指标身高(cm)、坐高、体重(kg)、胸围、肩宽、盆骨宽分别为；机能指标脉搏(次/分)、收缩压(mmHg) 、舒张压(变音)、舒张压(消音)、肺活量(ml)分别为。现欲研究这两组变量之间的相关性。 简单相关系数矩阵 用简单相关系数描述两组变量的相关关系的缺点： 只是孤立考虑单个与单个间的相关，没有考虑、变量组内部各变量间的相关。 两组间有许多简单相关系数(实例为30个)，使问题显得复杂，难以从整体描述。(复相关系数也如此)。 对于上例，要想研究两组变量间的相关关系，构造线性函数如下： 要求它们之间具有最大相关性，这就是典型相关分析问题。 §10.2 典型相关分析的统计思想 典型相关分析研究两组变量之间整体性的线性相关关系，它是将每一组变量作为一个整体来进行研究而不是分析每一组变量内部的各个变量。 典型相关分析是借助于主成分分析的思想，对每一组变量分别寻找线性组合，使生成的新的变量能代表原始变量大部分的信息，同时，与由另一组变量生成的新的综合变量的相关程度最大，这样一组新的综合变量称为第一对典型相关变量，同样的方法可以找到第二对、第三对…使得各对典型相关变量之间互不相关，典型相关变量之间的简单相关系数称为典型相关系数。典型相关分析就是用典型相关系数衡量两组变量之间的相关性。 一、典型相关分析的统计思想 采用主成分思想寻找第对典型(相关)变量： 典型相关系数典型变量系数或典型权重，此处、是已经过标准化的变量。 记第一对典型相关变量间的典型相关系数为: 使与间最大相关；第二对典型相关变量间的典型相关系数为：使与间最大相关，且分别与 无关；……。第对典型相关变量间的典型相关系数为：，使与间最大相关，且分别与无关；且。 二、典型相关分析的基本理论和方法 设有两组随机变量：，、的协方差矩阵为：。设，是第一组变量的协方差阵,是第二组变量的协方差阵，是两组变量之间的协方差阵。且当是正定阵时,与也是正定的。 为了研究两组变量 X,Y 之间的相关关系，考虑它们的线性组合： 我们希望在、及给定的条件下，选取使与之间的相关系数 ， 即问题成为 (1) (2) 说明：由于随机变量乘以常数不改变它们之间的相关关系，所以可以取标准化的随机变量。 §10.3 总体的典型相关系数和典型变量 一、总体的典型相关系数和典型变量的求法 在约束条件(2)下，求使得(1)式达到最大。由拉格朗日乘数法，这一问题等价于： ， 由极值的必要条件得： (3) 用 分别左乘(3)式，有， 又，所以有，即恰好是线性组合和之间的相关系数。 于是解方程组(3)归结为解方程组： (4) 以左乘(4)中第二式并将第一式代入得： ； 以左乘(4)中第一式并将第二式代入得： 说明既是又是的特征根，就是其相应于和的特征向量。 和的特征根的性质： (1)和有相同的非零特征根，且相等的非零特征根数目等于； (2)和的特征根非负； (3)和的全部特征根均在0～1之间。 通常用表示；并称为典型相关系数，相应的单位特征向量分别为。 综上所述，有如下定义： 定义 在一切使方差为1的线性组合与中，其中两者相关系数最大的与称为第一对典型相关变量，它们的相关系数，称为第一典型相关系数。一般地，在定义了对典型相关变量后，在一切使方差为1且与前对典型相关变量都不相关的线性组合与中，两者相关系数最大者称为第对典型相关变量，其相关系数称为第对典型相关系数。 相关系数越大，说明相应的典型变量之间的关系越密切，因此一般在实用中忽略典型相关系数很小的那些典型变量，按的大小只取前几个典型