典型相关分析因子分析.pptxVIP

第七章典型相关分析

要点2典型相关分析的数学表达方式，假定条件；典型相关系数的数学含义；典型变量系数的数学含义；简单相关，复相关和典型相关的意义；典型相关的应用0103020405

什么是典型相关分析及基本思想01通常情况下，为了研究两组变量的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样又烦琐又不能抓住问题的本质。如果能够采用类似于主成分的思想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。02

在解决实际问题中，这种方法有广泛的应用。如，在工厂里常常要研究产品的q个质量指标和p个原材料的指标之间的相关关系；也可以是采用典型相关分析来解决的问题。如果能够采用类似于主成分的思想，分别找出两组变量的线性组合既可以使变量个数简化，又可以达到分析相关性的目的。

例家庭特征与家庭消费之间的关系01分析两组变量之间的关系。为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：02

变量间的相关系数矩阵?X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00

y2y3y1x2x1

典型相关分析的思想：首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，

然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。u2和v2与u1和v1相互独立，但u2和v2相关。如此继续下去，直至进行到r步，两组变量的相关性被提取完为止。r?min(p,q)，可以得到r组变量。

12其中?11是第一组变量的协方差矩阵；?22是第二组变量的协方差矩阵；是X和Y的其协方差矩阵。其协方差阵为考虑两组变量的向量（一）想法二、典型相关的数学描述

如果我们记两组变量的第一对线性组合为：其中：所以，典型相关分析就是求?1和b1，使?uv达到最大。

在约束条件:下，求a1和b1，使?uv达到最大。令典型相关系数和典型变量的求法

利用柯西不等式有（参看式）13

记m为?12的秩，则14记为相应的特征向量为其余的零特征根对应的向量为

由特征向量可以构成一个正交矩阵T，有

若取则

相应的特征向量为01a1和b1分别构成了第一组变量和第二组变量的第一对典型变量的系数。02

第一对典型相关变量提取了原始变量x组和y组之间相关的主要部分，那么这部分的信息不够，则还可以在剩余相关中提取第二对典型变量：01在以下的约束条件下：02

求19令01则，约束条件等价于02

当取01这时uk和vk达到最大值?k,称它为第k个典型相关系数，称ak和bk为第k对典型变量系数。02

相应的特征向量为2201ak和bk分别构成了第一组变量和第二组变量的02第k对典型变量的系数。

注有相同的特征根，而可以验证：根据线性代数的思想，下列矩阵

方法二24No.1根据数学分析中条件极值的求法，引入Lagrange乘数，求极值问题，则可以转化为求No.2的极大值，其中?和?是Lagrange乘数。

将上面的3式分别左乘和

将左乘（3）的第二式，得并将第一式代入，得的特征根是，相应的特征向量为0102

将左乘（3）的第一式，并将第二式代入，得01的特征根是，相应的特征向量为02

结论：既是M1又是M2的特征根，和是相应于M1和M2的特征向量。至此，典型相关分析转化为求M1和M2特征根和特征向量的问题。第一对典型变量提取了原始变量X与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他们的典型相关系数。。010203

STEP1STEP2在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为：求使达到最大的和。在约束条件：

例家庭特征与家庭消费之间的关系01分析两组变量之间的关系。为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：02

变量间的相关系数矩阵31?X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00

典型相关分析0