07典型相关分析.docVIP

PAGE PAGE 8 典型相关分析专题 §9.1 引言 典型相关分析是研究两组变量之间相关关系的一种统计分析方法，它能够真正反映两组变量之间的相互线性依赖关系。 例如，F. V. Waugh（1942）研究了美国1921年至1940年每年牛肉、猪肉的价格与按人口平均的牛肉和猪肉的消费量之间的相互关系，可归结为研究这两组变量之间的相互依赖关系。采用典型相关分析，可由第一组变量构造一种价格指数，由第二组变量构造一种消费量指数，这两种指数分别为这两组变量的典型变量，而后研究这两种指数间的相互关系。又如，在工厂里常常要研究产品的个质量指标（）与原材料的个质量指标 之间的相关关系，这也是需采用典型相关分析来解决的问题。 一般地，为研究两组变量和之间的相关关系，常采用类似于主成分的思想，找出第一组变量的某个线性组合，并找出第二组变量的某个线性组合，于是我们把研究两组变量之间相关的问题化为研究两个变量与之间的相关问题，希望使与的相关达到最大。我们称这种相关为典型相关，基于这种原则的分析方法称为典型相关分析。 §9.2 总体典型相关 一、典型相关的定义及导出 设 和是两组变量，且，， ，即有 其中 典型相关分析研究的是，的线性函数与的线性函数之间的相关关系，其中 和 我们先来计算一下与的相关系数 （9.2.1） （9.2.2） 所以，与的相关系数为 （9.2.3） 由于对任意非零常数和，有 因此，为避免不必要的结果重复，我们常常限定与均为标准化的变量，即附加约束条件 ， （9.2.4） 这等价于约束条件 ， （9.2.5） 于是，我们的问题归结为在约束条件（9.2.4）式或（9.2.5）式下，求和，使得 （9.2.6） 达到最大。令，，于是，。利用柯西不等式，有 记为的秩，则 从而，非负定矩阵有个正特征值，分别记为 ，相应的单位特征向量分别为，其余个零特征值的单位特征向量分别为，是正交矩阵。 结论： （特征值；特征向量；） （特征值；特征向量；） （特征值；特征向量） （特征值；特征向量） 其中 因此，由上述不等式和谱分解定理有 若取，，则 备注： 的最大特征值为，对应的特征向量为， 故 这里是的正平方根。所以，当取，时，达到最大值（显然）。我们称 ， （9.2.7） 为第一对典型相关变量，称为第一个典型相关系数，称，为第一对典型系数。 利用和具有相同非零特征值的性质，可知 都具有相同的非零特征值。令 ，，， （9.2.8） 其中是的正平方根。由于 （9.2.9） 所以 （9.1.10） 即为的相应于的正交单位特征向量； （9.2.11） 即为的相应于的正交单位特征向量； （9.2.12） 即为的相应于的正交单位特征向量。 第一对典型相关变量提取了原始变量与之间相关的主要部分，如果这一部分还显得不够，可以在剩余相关中再求出第二对典型相关变量，，也就是 应满足，，且应使得第二对典型相关变量不包括第一对典型相关变量所含的信息，即 在这些约束条件下使得 达到最大。一般地，第（）对典型相关变量，是指，找出 和，在约束条件 ，，，，（9.2.13） 下，使得 达到最大。为此，令，，于是约束条件（9.2.13）式等价于 ， ， ， （9.2.14） 当取时，可验证满足（9.2.13）式，且 故这时达到最大值，称它为第个典型相关系数，称，为第对典型系数。 二、典型相关变量的性质 1．同一组的典型变量互不相关 设的第对典型变量为 ，， （9.2.15） 则有 ，， ，， ， （9.2.16） 表明由组成的第一组典型变量互不相关，且均有相同的方差1；由组成的第二组典型变量也互不相关，且也均有相同的方差1。 2．不同组的典型变量之间的相关性 ， （9.2.17） （9.2.18） 表明不同组的任意两个典型变量，当时，相关系数为，当时是彼此不相关的。 记 ，， 则上述性质可用矩阵表示为 ，， 或 其中 3．原始变量与典型变量之间的相关系数 记 则 上述四个等式也可表达为 4．简单相关，复相关和典型相关之间的关系 当时，与之间的典型相关（唯一）就是它们之间的简单相关；当或时，与之间的典型相关（唯一）就是它们之间的复相关。因此，复相关是典型相关的一个特例，而简单相关是复相关的一个特例。从第一个典型相关的定义可以看出，第一个典型相关系数至少同的任意分量与的复相关系数一样大，即使所有这些复相关系数都很小，第一个典型相关系数仍可能很大（对也一样）；同样，从复相关的定义也可以看出，当时，与之间的复相关系数也不会小于与的任意分量之间的相关系数，即使所有这些相关