第三讲典型相关分析.docVIP

第三讲 典型相关分析 典型相关(Cannonical Correlation)研究两组变量X1,X2,…,Xp和Y1,Y2,…,Yq间的整体相关关系。为方便起见，用向量： 表示这两组变量。 第一节 总体的典型相关分析 1．1 第一典型变量和相关系数 1．定义 和分别为p维和q维随机向量： 常数向量： 线性组合 称为和的第一典型变量，如果满足： 1）D(U1)=1，D(V1)=1； 2）对一切可能的和，(=Corr(U1,V1)最大。 2．定义的说明 其中的(xy是和的协方差矩阵。又由： 其中的(xx和(yy分别是和的协方差矩阵。从而有： 设a0，b0 是两个任意常数，则有： 这说明：如果常数向量和使得最大，则和也一样。这就意味着和的不唯一性。定义中的条件1）就是因此而设，在此约束下，唯一性得到保证，并且有： 3．定理 设是和的第一典型变量，记： 则满足： 证明：按定义，和由max(而来。用Lagrange乘数法， 作函数： 令 以下求偏导数： 从而得联立方程组： 将(1)式左乘，(2)式左乘，得到： 由于：，因此得： 注意到：，故： 于是方程(1)、(2)成为： 在(xx和(yy为正定的条件下，解出： 代入(4)，得到： 即有： 从而证得：。类似可证：。▌ 4．定理的推论与说明 1）推论 系数向量和分别是矩阵A和B的最大特征值对应的单位特征向量；矩阵A、B具有相同的特征值；A、B最大特征值的算术平方根就是第一典型变量U1、V1的相关系数。 2）说明 定理的证明用到矩阵(xx和(yy的逆矩阵。一般来说，协方差矩阵只是非负定矩阵，这时可将逆矩阵改为广义逆，定理同样可证。 1．2 其他典型变量及其求法 1．第i对典型变量的定义 随机向量、的第i(≥2)对典型变量: 是满足以下条件的变量： D(Ui)=1，D(Vi)=1，即：； 2）。即： ； 3）在约束1）和2）之下，使得Corr(Ui,Vi)最大。即使得： 最大。 2．第i对典型变量的求法 和求第一对典型变量一样，仍旧用Lagrange乘数法。令： 现有： 令 得到联立方程组： 首先讨论i=2的情形。将该方程组的第一、第二式分别左乘以和，得到： 由不相关的约定： 同时，和还满足方程(3)和(4)： 将上式的第一第二式分别左乘以、，得： 由不相关约定：，故有： 此即：Corr(U2,V1)=0，Corr(V2,U1)=0。也就是说：U2与V1、V2与U1也都不相关。有了这一结论，再用左乘(5)、左乘(6)，便得到：(1((1((。因此，(5)、(6)式化为： 比较方程(1)、(2)，可见、和、满足得是同一个方程组。因此，求、的问题，依然是求矩阵A、B的相同特征值与特征向量。设A、B相同的非零特征值为： 前已取为第一典型相关系数，现取为第二典型 相关系数，并取矩阵A对应的规格化的特征向量为，矩阵B对应的规格化特征向量为。于是便有： 由此可见，对于i=3,4,…,k将有以下结果： (1)对于j=1,2,…,i-1有： Cov(Ui,Vj)=0, Cov(Vi,Uj)=0. (2)所有、均为0(j=1,2,…,i-1)，因此、所满足的方程组与c(1)、d(1)为同一个方程组。 这样，求c(i)、d(i)便化为求矩阵A、B的特征值与特征向量。由此得到的典型变量，有性质： 记，。则有： 第二节 样本的典型相关分析 2．1 样本的第一对典型变量 设、均为多维正态总体。现有取自这两个总体的容量为np+q的样本数据矩阵： 协方差矩阵(xx、(yy和(xy的极大似然估计分别是： 其中的： 由此得到矩阵A与B的估计： 然后求解方程： 2．2 样本的其他对典型变量 在以上协方差矩阵估计的基础上，参照总体的典型变量推导，和第一对典型变量一样，可以得出相应结论。这里不再详细推导。 2．3 典型相关系数的显著性检验 1．检验目的 总体和如果不相关，即有，则关于和的典型相关讨论毫无意义。所以，在做典型相关分析之前，必须对此检验。 2．协方差矩阵的相关性检验 如果总体，可做以下检验： 原假设 H0：( = O（总体协方差矩阵不相关）。具体检验法这里从略。只有原假设不显著时，典型相关分析才有意义。 3．典型相关分析在SPSS上的实现 在SPSS的命令菜单里，没有给出典型相关分析的命令。但是系统专门提供的一个宏程序可以完成典型相关分析的运算并输出结果，该程序名为：Canonical correlation. sps，就放在SPSS的安